Cap Itulo 1 Cadeias de Markov: 1.1 Introdu C Ao

Capı́tulo 1
Cadeias de Markov
Neste capı́tulo vamos estudar uma classe de processos aleatórios ou estocásticos que possuem uma determinada ca-
racterı́stica que pode, grosseiramente, ser descrita como perda de memória. Estes processos aparecem em inúmeras
aplicações, incluindo sistemas de filas, redes de comunicação de computadores, sistemas biológicos e uma grande
variedade de outras aplicações. Aplicações de Cadeias de Markov em medicina são bastante comuns e se tornaram
uma ferramenta importante de tomada de decisão médica.
Como resultado da sua ocorrência frequente, estes processos têm sido estudados extensivamente obtendo-se uma
teoria rica a qual permite resolver os problemas relacionados com estes processos.
Um processo estocástico é um modelo matemático que evolui ao longo do tempo de forma probabilı́stica e
aqui vamos estudar um tipo especial de processo estocástico, chamado de Cadeia de Markov, onde o resultado de
um experimento depende apenas do resultado do experimento anterior. Em outras palavras, o estado seguinte do
sistema depende apenas do estado atual e não dos estados anteriores.
As Cadeias de Markov foram assim nomeados após os estudos do matemático russo Andrei A. Markov1 , que
começou a teoria de processos estocásticos.
Referências clássicas como Ross (1996), Hoel, Port & Stone (1972) e Kemeny & Snell (1976) foram consultadas
para redigirmos este texto.
1.1 Introdução
Sequências de variáveis aleatórias que evoluem de alguma maneira no tempo servem como descrição informal do
conceito de processo estocástico. Apresentamos a seguir a definição formal.
Definição 1.1
Um processo aleatório é uma famı́lia {Xt }t∈T de variáveis aleatórias, definidas no mesmo espaço de probabili-
dade, indexadas pelo conjunto T .
Os processos estocástico podem ser classificados de diversas maneiras. Aqui estamos interessados em duas
dessas classificações: a primeira é segundo as variáveis que o compõem, sejam discretas ou contı́nuas, identificando
os processos estocásticos como discretos ou contı́nuos, respectivamente. Uma outra classificação é segundo o
conjunto de ı́ndices. Caso o conjunto T seja um subconjunto dos números inteiros ou naturais, chamamos o
processo estocástico de “processo a tempo discreto” em outras situações chama-se de “processo a tempo contı́nuo”,
por exemplo, estamos no caso de processos a tempo contı́nuo quando T = R ou T = [0, +∞). Em qualquer caso,
1
Andrei Andreyevich Markov (1856-1922) foi um matemático russo. Realizou numerosos estudos na teoria da probabilidade. Provou
o Teorema Central do Limite. Markov é lembrado pelo seu estudo de Cadeias de Markov
1
2 CAPÍTULO 1. CADEIAS DE MARKOV
pensamos em um processo estocástico como uma famı́lia de variáveis aleatórias que evoluem com o tempo. Estas
variáveis podem mesmo ser independentes, o qual seria um caso muito especial e de pouco interesse. Pelo contrário,
estamos preocupados com uma situação geral, e esperamos realista, de modelos para a evolução aleatória. Um
destes modelos satisfaz a seguinte propriedade: condicionado em seus valores no n-ésimo instante, seus valores
futuros não dependem de seus valores anteriores. Esta propriedade provou ser muito útil na sua análise e é a teoria
geral dos processos com essa propriedade à qual voltamos nossa atenção agora.
Considere um processo estocástico discreto {Xn } com espaço amostral S, finito ou infinito enumerável. Pen-
semos X0 , X1 , · · · , Xn−1 como “o passado”, Xn como o “presente”e Xn+1 , Xn+2 , · · · como “o futuro” do processo
em relação ao tempo n. A lei de evolução de um processo estocástico é frequentemente pensada em termos da
distribuição condicional do futuro, dado o presente e os estados anteriores do processo.
Uma vez que estamos interessados em sistemas não-determinı́sticos, pensamos {Xn } como variáveis aleatórias
definidas em um espaço de probabilidade comum. Pouco pode ser dito sobre essas variáveis aleatórias, a menos que
alguma estrutura adicional seja imposta a eles. Uma propriedade útil dos processos estocásticos, que nos permite
obter facilmente as probabilidades conjuntas é a propriedade de Markov. Basicamente, um processo estocástico é
dito ser Markoviano se o futuro do processo, dado o presente, é independente do passado.
Definição 1.2 (Propriedade de Markov )

Seja {Xn } um processo estocástico discreto com espaço amostral S, finito ou infinito enumerável. Dizemos que
{Xn } satisfaz a propriedade de Markov se dado o estado atual, os estados passados não têm influência sobre o
futuro. A propriedade de Markov é definida precisamente pela exigência de que
P (Xn+1 = xn+1 |X0 = x0 , · · · , Xn = xn ) = P (Xn+1 = xn+1 |Xn = xn ), (1.1)
para qualquer seja a escolha do número natural n e os números x0 , x1 , · · · , xn+1 ∈ S. O espaço amostral S, de
um processo estocástico discreto a tempo discreto, é chamado de espaço de estados.
Andrei Markov obteve os primeiros resultados para processos estocásticos discretos finitos em 1906. Uma
generalização para espaços de estados infinitos enumeráveis foi dada por Kolmogorov2 em 1936. A definição desta
propriedade, também chamada de memória Markoviana, é que os estados anteriores são irrelevantes para a predição
dos estados seguintes, desde que o estado atual seja conhecido.
Definição 1.3
Um processo estocástico {Xn } discreto satisfaz a propriedade de Markov se, para cada n e m, a distribuição
condicional de Xn+1 , · · · , Xn+m dado X0 , X1 , · · · , Xn é a mesma que a sua distribuição condicional dado Xn .
Isto quer dizer que, um processo estocástico satisfazendo a propriedade de Markov satisfaz que
P (Xn+1 , · · · , Xn+m |X0 , X1 , · · · , Xn ) = P (Xn+1 , · · · , Xn+m |Xn )·
2
Andrei Nikolaevich Kolmogorov (1903-1987) foi um matemático soviético. Kolmogorov participou das principais descobertas
cientı́ficas do século XX nas áreas de probabilidade e estatı́stica e na teoria da informação.
1.1. INTRODUÇÃO 3
Definição 1.4 (Cadeia de Markov )

Um processo estocástico {Xn } que satisfaz a propriedade de Markov é chamado de processo de Markov. Se,
além disso, o processo estocástico for a tempo discreto e formado por variáveis aleatórias discretas o processo
de Markov é chamado Cadeia de Markov.
Observemos que ao definirmos Cadeia de Markov nada é dito acerca do espaço de estados. Agora, como as
variáveis aleatórias X0 , X1 , · · · , Xn , · · · que formam a Cadeia de Markov são discretas, então o espaço de estados
S é finito ou infinito enumerável.
O estudo das Cadeias de Markov é válido a partir de dois pontos de vista. Em primeiro lugar, existe uma ampla
teoria desenvolvida e, em segundo lugar, há um grande número de sistemas que surgem na prática que podem ser
modelados desta forma, de modo existirem muitas aplicações.
1.1.1 Cadeias de Markov

Começando o estudo de tais sistemas, podemos perceber que a propriedade de Markov é muito importante e reduz
a probabilidade condicional a uma única transição, como pode ser observado em (1.1). Isso permitirá encontrar
propriedades estudando o conceito de probabilidade de transição.
Definição 1.5
Seja {Xn } uma Cadeia de Markov com espaço de estados S e sejam x, y ∈ S. A probabilidade
P (Xn+1 = y|Xn = x), (1.2)
se conhece como probabilidade de transição em um passo ou simplesmente probabilidade de transição. Também

denotado como px,y (n, n + 1), o qual representa a probabilidade de transição do estado x no tempo n ao estado
y no tempo n + 1.
Podemos encontrar processos nos quais as probabilidades de transição variam com o tempo e, portanto, neces-
sitam ser explicitamente escritas como uma função do tempo t, por exemplo, px,y (t), mas não consideraremos tais
processos no presente texto e doravante, presume-se que a probabilidade de transição é independente do tempo.
Definição 1.6
Uma Cadeia de Markov {Xn } é dita ser homogênea ou estacionária se as probabilidades de transição não
dependem do tempo.
Desta maneira, no caso de Cadeias de Markov estacionárias, a probabilidade de transição em (1.2) se reduz a
P (Xn+1 = y|Xn = x) = P (X1 = y|X0 = x),
e, portanto, em px,y (n, n + 1) não faz mais sentido escrever o instante de observação da cadeia, a qual se reduz a
simplesmente px,y .
Exemplo 1.1 (Cadeia com dois estados)
Uma Cadeia de Markov com dois estados é um processo de Markov para um sistema que pode assumir somente
Figura 1.1: Grafo das probabilidades de transição na cadeia com dois estados.
dois valores, por exemplo, 0 e 1. Podemos observar um gráfico representativo na Figura 1.1. Partindo do estado
0, permanece nele com probabilidade 1 − α e assume valor 1 com probabilidade α. Da mesma forma, se o estado
atual é 1, permanece nele com probabilidade 1 − β e muda para 0 com probabilidade β.
Para um exemplo de uma Cadeia de Markov tendo dois estados considere uma máquina que, no inı́cio de
um dia em particular será classificada como em perfeitas condições ou com falhas de operação. Suponhamos
que, se a máquina for classificada no inı́cio do dia n com falhas, com probabilidade α vai ser reparada com
êxito e estará em condições de funcionamento no inı́cio do (n + 1)-ésimo dia. Considere-se também que, se a
máquina está em perfeitas condições de funcionamento, no inı́cio do dia n, com probabilidade β vai ter uma
falha causando mau funcionamento e será classificada assim, no inı́cio da (n + 1)-ésimo dia. Finalmente, seja
π0 (0) a probabilidade de que a máquina esteja com falhas de funcionamento inicialmente, isto é, no inı́cio do
dia 0.
Seja 0 estado que corresponde à máquina com falhas de funcionamento e seja 1 o estado que corresponde à
máquina em perfeitas condições de funcionamento. Seja Xn a variável aleatória denotando o estado da máquina
no tempo n. De acordo com a descrição acima
P (Xn+1 = 1|Xn = 0) = α,
P (Xn+1 = 0|Xn = 1) = β,
e
P (X0 = 0) = π0 (0)·
Dado que há somente dois estados 0 e 1, segue que
P (Xn+1 = 0|Xn = 0) = 1 − α,
P (Xn+1 = 1|Xn = 1) = 1 − β,
e que a probabilidade π0 (1), de estar inicialmente no estado 1 é dada por
π0 (1) = P (X0 = 1) = 1 − π0 (0)·
A partir desta informação, podemos facilmente calcular P (Xn = 0) e P (Xn = 1). Observamos que
P (Xn+1 = 0) = P (Xn = 0, Xn+1 = 0) + P (Xn = 1, Xn+1 = 0)
= P (Xn = 0)P (Xn+1 = 0|Xn = 0)
+P (Xn = 1)P (Xn+1 = 0|Xn = 1)
= (1 − α)P (Xn = 0) + βP (Xn = 1)
= (1 − α)P (Xn = 0) + β[1 − P (Xn = 0)]
= (1 − α − β)P (Xn = 0) + β·
Agora P (X0 = 0) = π0 (0), então
P (X1 = 0) = (1 − α − β)π0 (0) + β
e
P (X2 = 0) = (1 − α − β)P (X1 = 0) + β
= (1 − α − β)2 π0 (0) + β[1 + (1 − α − β)]·
Não é difı́cil perceber que, repetindo este procedimento n vezes
n−1
∑
n
P (Xn = 0) = (1 − α − β) π0 (0) + q (1 − α − β)k · (1.3)
k=0
No caso trivial de α = β = 0 é claro que para todo n
P (Xn = 0) = π0 (0) e P (Xn = 1) = π0 (1)· (1.4)
Suponhamos agora que α + β > 0. Então, pela fórmula da soma de uma progressão geométrica,
n−1
∑ 1 − (1 − α − β)n
(1 − α − β)k = ·
k=0
α+β
Concluı́mos de (1.4) que

[ ]
β n β
P (Xn = 0) = + (1 − α + β) π0 (0) − , (1.5)
α+β α+β
e por consequência que [ ]

α n α
P (Xn = 1) = + (1 − α + β) π0 (1) − · (1.6)
α+β α+β
Suponha agora α e β não sejam ambas zero nem ambas um. Então, 0 < α + β < 2, o qual implica que
|1 − α − β| < 1. Neste caso, podemos fazer n → ∞ nas expressões em (1.5) e (1.6) e concluı́mos que
β α
lim P (Xn = 0) = e lim P (Xn = 1) = · (1.7)
n→∞ α+β n→∞ α+β
β α
Podemos também encontrar as probabilidades limite e por um procedimento diferente. Suponha
α+β α+β
que queremos escolher π0 (0) e π0 (1) de maneira que P (Xn = 0) e P (Xn = 1) não dependam de n. Das expressões
(1.5) e (1.6) para obtermos isso devemos escolher
β α
π0 (0) = e π0 (1) = ·
α+β α+β
Então, se a cadeia {Xn } têm como distribuição inicial
β α
P (X0 = 0) = e P (X0 = 1) = ,
α+β α+β
temos, para todo n, que

β α
P (Xn = 0) = e P (Xn = 1) = ·
α+β α+β
A descrição do processo é vaga porque ela realmente não disse quando {Xn } satisfaz a propriedade de Markov.
Suponhamos, porém, que a propriedade de Markov se sustenta. Podemos usar essa informação adicional para
calcular a distribuição conjunta de X0 , X1 , · · · , Xn .
Por exemplo, seja n = 2 e sejam x0 , x1 , · · · , xn cada um igual a 0 ou 1. Então
P (X0 = x0 , X1 = x1 , X2 = x2 )
= P (X0 = x0 , X1 = x1 )P (X2 = x2 |X0 = x0 , X1 = x1 )
= P (X0 = x0 )P (X1 = x1 |X0 = x0 )P (X2 = x2 |X0 = x0 , X1 = x1 )·
Agora P (X0 = x0 ) e P (X1 = x1 |X0 = x0 ) são determinados por α, β e π0 (0) só que, sem a propriedade
de Markov valendo não podemos expressar P (X2 = x2 |X0 = x0 , X1 = x1 ) em termos de α, β e π0 (0). Se a
propriedade de Markov é satisfeita, contudo, então
P (X2 = x2 |X0 = x0 , X1 = x1 ) = P (X2 = x2 |X1 = x1 ),
a qual é determinada por α e β. Neste caso
P (X0 = x0 , X1 = x1 , X2 = x2 )
= P (X0 = x0 )P (X1 = x1 |X0 = x0 )P (X2 = x2 |X1 = x1 )·
Na Tabela 1.1 apresentamos a distribuição conjunta das variáveis X0 , X1 e X2 segundo os valores de x0 , x1

e x2 .
x0 x1 x2 P (X0 = x0 , X1 = x1 , X2 = x2 )
0 0 0 π0 (0)(1 − α)2
0 0 1 π0 (0)(1 − α)β
0 1 0 π0 (0)αβ
0 1 1 π0 (0)α(1 − β)
1 0 0 [1 − π0 (0)]α(1 − β)
1 0 1 [1 − π0 (0)]αβ
1 1 0 [1 − π0 (0)](1 − β)β
1 1 1 [1 − π0 (0)](1 − β)2
Tabela 1.1: Probabilidade conjunta de X0 , X1 , X2 no Exemplo 1.1

.
Os resultados que serão apresentados neste texto referem-se à situação de Cadeias de Markov homogêneas ou
estacionárias.
1.1.2 Caracterı́sticas das Cadeias de Markov

Esta seção dedica-se ao estudo de três caracterı́sticas importantes das Cadeias de Markov: a função de transição,
a distribuição inicial e a matriz de transição. Toda vez que lidemos com situações que possam ser modeladas
desta maneira, estaremos interessados em identificar estas caracterı́sticas. Mais ainda, estas caracterı́sticas serão
importantes para encontrar propriedades das Cadeias de Markov.
Função de transição
Pela Definição 1.5 podemos perceber que a probabilidade de transição, numa Cadeia de Markov estacionária, é uma
função dos estados e não mais do instantes de tempo. Dedicaremos especial atenção a esta função a qual permitirá
deduzir propriedades destes modelos.
Definição 1.7
Seja {Xn } uma Cadeia de Markov estacionária com espaço de estados S. A função p, definida como
px,y = P (X1 = y|X0 = x), x, y ∈ S, (1.8)
é chamada de função de transição da cadeia.
Em particular, dado que a cadeia satisfaz as exigências da Definição 1.6, de cadeia estacionária, podemos escrever
que
P (Xn+1 = y|Xn = x) = px,y , n ≥ 1· (1.9)
Agora, pela propriedade Markoviana, temos que
P (Xn+1 = y|X0 = x0 , · · · , Xn−1 = xn−1 , Xn = x) = px,y · (1.10)
Em outras palavras, se a Cadeia de Markov está no estado x no tempo n, então não importa como ela chegou a x,
ela tem probabilidade px,y de estar no estado y no passo seguinte. Por esta razão os números px,y são chamados
também de probabilidades de transição de uma etapa da Cadeia de Markov.
Esta função, a qual é uma probabilidade condicional, satisfaz propriedades básicas da função de probabilidade
resumidas no seguinte teorema.
Teorema 1.1
Seja {Xn } uma Cadeia de Markov estacionária com espaço de estados S e função de transição p. Então
px,y ≥ 0, x, y ∈ S (1.11)
e ∑
px,y = 1, x ∈ S· (1.12)
y∈ S
Demonstração : Exercı́cio.
∑
Observe que na propriedade em (1.12) o estado inicial x é fixo, nada afirma-se acerca da probabilidade x∈ S px,y .
Continuando com o exemplo 1.1 percebemos que a função de transição, segundo a descrição no texto é
p0,0 = 1 − α, p0,1 = α, p1,0 = β, p1,1 = 1 − β·
Observemos que pelo fato de tanto α quanto β serem probabilidades todas as probabilidades de transição são
maiores ou iguais a zero. Ainda vemos que p0,0 + p0,1 = 1 e p1,0 + p1,1 = 1, como enunciado pelo Teorema 1.1.
Distribuição inicial
Um vetor que consiste de números não negativos que somam 1 é chamado de vetor de probabilidade. Um vetor de
probabilidades cujas coordenadas especificam as probabilidades de que uma Cadeia de Markov esteja em cada um
dos seus estados no tempo inicial é chamado a distribuição inicial da cadeia ou o vetor de probabilidade inicial.
Definição 1.8
Seja {Xn } uma Cadeia de Markov estacionária com espaço de estados S. A função π0 (x), x ∈ S, definida por
π0 (x) = P (X0 = x) x ∈ S, (1.13)
é chamada de probabilidade inicial da cadeia.
Fica implı́cito que a dimensão do vetor π0 é igual ao número de estados ou elementos em S.

Como toda função de probabilidade, a distribuição inicial satisfaz que
π0 (x) ≥ 0, ∀x ∈ S (1.14)
e ∑
π0 (x) = 1· (1.15)
x∈ S
A distribuição conjunta de {X0 , X1 , X2 } pode ser facilmente expressa em termos da função de transição e da
distribuição inicial. Por exemplo,
P (X0 = x0 , X1 = x1 ) = P (X0 = x0 )P (X1 = x1 |X0 = x0 )
= π0 (x0 )px0 ,x1 ·
Também
P (X0 = x0 , X1 = x1 , X2 = x2 )
= P (X0 = x0 , X1 = x1 )P (X2 = x2 |X0 = x0 , X1 = x1 )
= π0 (x0 )px0 ,x1 P (X2 = x2 |X0 = x0 , X1 = x1 )·
Dado que {X0 , X1 , X2 } satisfaz a propriedade de Markov e tem distribuição de transição estacionária, isto é,
satisfaz Definição 1.6, vemos que
P (X2 = x2 |X0 = x0 , X1 = x1 ) = P (X2 = x2 |X1 = x1 )
= P (X1 = x2 |X0 = x1 )
= px1 ,x2 ·
Então
P (X0 = x0 , X1 = x1 , X2 = x2 ) = π0 (x0 )px0 ,x1 px1 ,x2 · (1.16)
Em situações gerais se consegue escrever a probabilidade conjunta em termos da distribuição inicial e da função
de transição como no teorema a seguir.
Teorema 1.2
Seja {Xn } uma Cadeia de Markov em S com função de transição p. Então, podemos escrever a função de
probabilidade conjunta de X0 , X1 , · · · , Xn como
P (X0 = x0 , · · · , Xn = xn ) = π0 (x0 )px0 ,x1 · · · pxn−1 ,xn · (1.17)
Demonstração : Para n = 2 provamos em (1.16) que a expressão da probabilidade conjunta em (1.17) é válida. Por
indução percebemos que também esta expressão é válida para qualquer n.
É geralmente mais conveniente, no entanto, inverter a ordem de nossas definições. Diz-se que px,y , x, y ∈ S é
uma função de transição se satisfizer (1.11) e (1.12) e dizemos que π0 (x), x ∈ S, é a probabilidade inicial da cadeia
se satisfaz (1.14) e (1.15). Pode ser mostrado que, dado qualquer função de transição p e qualquer distribuição
inicial π0 , existe um espaço de probabilidade e variáveis aleatórias {Xn }, definidas nele, satisfazendo a relação em
(1.17) (Doob, 1953). Logo, demonstra-se também que essas variáveis aleatórias formam uma Cadeia de Markov
com a função de transição p e distribuição inicial π0 .
O leitor pode estar incomodado com a possibilidade de que algumas das probabilidades condicionais que discu-
timos podem não estar bem definidas. Por exemplo, o lado esquerdo em (1.1) não está bem definida, se
P (X0 = x0 , · · · , Xn = xn ) = 0·
Essa dificuldade é facilmente resolvida. As equações (1.11), (1.12), (1.14) e (1.15) que definem a função de transição
e a distribuição inicial estão bem definidas assim como a equação (1.17), que descreve a distribuição conjunta de
X0 , · · · , Xn , também está bem definida. Não é difı́cil mostrar que, se (1.17) se satisfaz então (1.1), (1.8), (1.9) e
(1.10) são válidas sempre que as probabilidades condicionais nas respectivas equações estejam bem definidas. O
mesmo será válido para a qualificação de outras equações envolvendo probabilidades condicionais que serão obtidas
posteriormente.
Em breve será evidente que a função de transição de uma Cadeia de Markov tem um papel muito maior na
descrição de suas propriedades do que o da distribuição inicial. Por esta razão, costuma-se estudar simultaneamente
toda a Cadeia de Markov com uma dada função de transição. Na verdade, nós aderimos à convenção usual de que,
por uma Cadeia de Markov com a função de transição p, o que realmente queremos dizer é que nos referimos à
famı́lia de todas as Cadeias de Markov com função de transição p.
Matriz de transição
Suponha uma Cadeia de Markov estacionária com espaço de estados S finito. Em situações como esta é conveniente
definir a probabilidade de transição como a matriz
 0 1 2 ··· d 
0 p0,0 p0,1 p0,2 ··· p0,d
1  p1,0 p1,1 p1,2 ··· p1,d 

 ··· p2,d 
P = 2  p2,0 p2,1 p2,2  (1.18)
..  .. .. .. .. 
. . . . . 
d pd,0 pd,1 pd,2 ··· pd,d
de elementos as probabilidades de transição entre os estados, escritas como
px,y = P (X1 = y|X0 = x), x, y ∈ S· (1.19)

Definição 1.9
Seja {Xn }, uma Cadeia de Markov estacionária com espaço de estados S = {0, 1, 2, · · · , d} finito. Então a
matriz quadrada P, dada em (1.18), é conhecida como a matriz de probabilidades de transição. Os elementos
desta matriz foram definidos em (1.8).
Exemplo 1.3 (Cadeia com dois estados. Continuação)

No exemplo 1.1, a matriz de transição de probabilidades no caso de uma cadeia com dois estados é da forma
0 1
( )
0 1−α α
P= ·
1 β 1−β
Teorema 1.3
Seja {Xn } uma Cadeia de Markov estacionária com espaço de estados S = {0, 1, · · · , d}. A matriz P = (px,y ),
de probabilidades de transição, satisfaz as seguintes propriedades:
(a) px,y ≥ 0,
∑
(b) px,y = 1.
y∈ S
Demonstração : A primeira propriedade é evidente pelo fato de cada px,y ser uma probabilidade. Para a segunda
propriedade observemos que para qualquer estado i ∈ S e qualquer inteiro n ≥ 0 temos que
P (Xn+1 ∈ S) = P (Xn+1 ∈ S|Xn = x) = 1,
e dado que os eventos {Xn+1 = 0}, {Xn+1 = 1}, · · · , {Xn+1 = y}, · · · são disjuntos podemos escrever
 
d
∪
P (Xn+1 ∈ S|Xn = x) = P  (Xn+1 = y|Xn = x)
y=0
d
∑
= P (Xn+1 = y|Xn = x) = 1·
y=0
Este último resultado significa que a partir de qualquer estado x, com probabilidade finita, uma cadeia assume
necessariamente algum elemento do espaço de estado na próxima vez. Geralmente uma matriz quadrada satisfa-
zendo estas duas propriedades se disse que é uma matriz estocástica.
Devido à propriedade de Markov, esta matriz capta a essência do processo, e determina o comportamento da
cadeia em qualquer momento no futuro. Se a matriz também satisfaz a condição por colunas, isto é, quando a
soma das colunas também é 1, então se disse que a cadeia é duplamente estocástica.
1.1.3 Exemplos de Cadeias de Markov

Vamos rever a seguir alguns exemplos clássicos de Cadeias de Markov e alguns outros para ilustrar os conceitos e
resultados da teoria geral.

Uma Cadeia de Markov com dois estados é um modelo de Markov para um sistema que pode assumir somente
dois valores, por exemplo, 0 e 1. Partindo do estado 0, permanece nele com probabilidade 1 − α e assume valor
1 com probabilidade α. Da mesma forma, se o estado atual é 1, permanece nele com probabilidade 1 − β e
muda para 0 com probabilidade β.
Se Xn é a função indicadora de atividade no n-ésimo instante de tempo, então {Xn } é uma Cadeia de Markov
com dois estados com o diagrama de transição de estados ilustrado na Figura 1.2 e matriz de probabilidades de
transição
0 1
( )
0 1−α α
P= ·
1 β 1−β
Figura 1.2: Grafo das probabilidades de transição na cadeia com dois estados.
Embora simples, esta cadeia é suscetı́vel a muitas aplicações devido ser comum encontrar situações em que a
dualidade ser ou não ser, estar ou não estar, ter ou não ter está presente, sempre em uma alternância constante
entre um estado e outro. No caso particular α = 1 − β, as variáveis X1 , X2 , · · · são independentes e identicamente
distribuı́das com P (Xn = 0) = 1 − α e P (Xn = 1) = α, para cada n ≥ 1. Quando α ̸= 1 − β, Xn depende Xn−1 .
Exemplo 1.5 (Variáveis aleatórias independentes)
A estrutura mais simples possı́vel é a de variáveis aleatórias independentes. Este seria um bom modelo para
sistemas com experimentos repetidos, nos quais os estados futuros do sistema são independentes dos estados
passados e do estado presente. Em muitos sistemas que surgem na prática, no entanto, os estados passados e o
presente exercem influencia nos estados futuros. Vejamos como construir tais sistemas com variáveis aleatórias
independentes.
Seja ξ0 , ξ1 , ξ2 , · · · uma sequência de variáveis aleatórias independentes, com valores no conjunto {0, 1, · · · },
identicamente distribuı́das com probabilidades dadas por α0 , α1 , · · · .
Definiremos várias Cadeias de Markov a partir desta sequência:
a) A sequência Xn = ξn é uma Cadeia de Markov com probabilidades de transição
P (Xn+1 = xn+1 |Xn = xn ) = P (Xn = xn ) = αn ,
recordemos que as variáveis são independentes, isto é, a matriz de probabilidades de transição é da forma
0 1 2 ···
 
0 α0 α1 α2 ···
P =  α0
1 α1 α2 · · · ·
. .. .. ..
2 .. . . .
Esta cadeia tem como propriedade passar de um estado a um outro qualquer sempre com a mesma
probabilidade, sem importar o estado de partida. Pode-se modelar, por exemplo, uma sequência de
lançamentos de uma moeda.
b) A sequência Xn = máx{ξ1 , ξ2 , · · · , ξn } é uma Cadeia de Markov com matriz de transição
0 1 2 3 ···
 
0 α0 α1 α2 α3 ···
1 0 α0 + α1 α2 α3 ··· 
P = 2  0 0 α 0 + α 1 + α2 α3

· · · ·
.. .. .. .. .. ..
. . . . . .
Observemos, por exemplo, que
P (Xn+1 = 0|Xn = 0) = P (máx{ξ1 , · · · , ξn+1 } = 0|Xn = 0),
dado que Xn+1 = máx{ξ1 , · · · , ξn+1 } = máx{Xn , ξn+1 }, temos então que
P (máx{Xn , ξn+1 } = 0|Xn = 0) = P (ξn+1 = 0) = α0 ·
c) O processo Xn = ξ1 + ξ2 + · · · + ξn é uma Cadeia de Markov com matriz de transição
0 1 2 ···
 
0 α0 α1 α2 ···
1 0 α0 α1 ··· 
P = 2  0 0 α0

· · · ·
.. .. .. .. ..
. . . . .
Uma situação particular desta cadeia é conhecido como passeio aleatório simples e é muitas vezes utilizado
por fı́sicos como um modelo aproximado das flutuações na posição de uma molécula relativamente grande.
Exemplo 1.6 (Fast food )

Suponha que cada vez que uma criança adquire uma refeição de criança em seu restaurante fast food favorito,
ele recebe uma das quatro figuras de super-heróis. Naturalmente, a criança quer coletar todas as quatro figuras
de ação e assim ele come regularmente no restaurante para completar a coleção. Este processo pode ser descrito
por uma Cadeia de Markov e a matriz de probabilidades de transição é da forma:
0 1 2 3 4
 
0 0 1 0 0 0
1
 0 1/4 3/4 0 0 
P = 2
 0 0 1/2 1/2 0 ·


3 0 0 0 3/4 1/4 
4 0 0 0 0 1
O grafo correspondente a esta matriz é mostrado na Figura 1.3. Vamos explicar agora o procedimento para
encontrarmos esta matriz.
Neste caso, seja S = {0, 1, 2, 3, 4} o espaço de estados, ou seja, o número das diferentes figuras de super-
heróis que a criança tem recolhido após a compra de k refeições. Supondo que cada refeição contém um dos
quatro super-heróis, com igual probabilidade, e que a matriz de transição em qualquer refeição é independente
do que está contido em todas as refeições anteriores ou futuras, então a matriz de probabilidade de transição é
P mostrada anteriormente.
Inicialmente, quer dizer, antes de todas as refeições serem compradas, o processo começa em 0, estado no
qual a criança não tem figuras de super-heróis. Quando a primeira refeição é comprada, a Cadeia de Markov
deve passar para o estado um, uma vez, não importa qual figura de ação está contido na refeição, a criança
terá agora um super-herói. Assim, p0,1 = 1, e p0,j = 0 para todo j ̸= 1. Se a criança tem uma figura de ação,
quando ele compra a próxima refeição, ele tem uma chance de 25% de receber um duplicado e 75% de chance
de conseguir uma nova figura de super-herói.
Assim, p1,1 = 1/4, p1,2 = 3/4 e p1,j = 0 para a j ̸= 1, 2. Lógica semelhante é usada para completar o restante
da matriz. A criança pode estar interessada em saber o número médio de refeições que ela precisa comprar até
que sua coleção esteja completa. Ou, talvez a criança salvou-se apenas o dinheiro suficiente para comprar 10
almoços e quer saber quais suas chances de completar o conjunto antes de ficar sem dinheiro. Vamos desenvolver
a teoria necessária para responder a essas perguntas.
Figura 1.3: Grafo das probabilidades de transição.
Um outro exemplo de Cadeia de Markov, desta vez famoso, é o mecanismo de busca ou motor de busca
de informações na Internet. Os motores de busca são sistemas de software projetados para encontrar informações
armazenadas em um sistema computacional a partir de palavras-chave indicadas pelo utilizador, reduzindo o tempo
necessário para encontrar informações.
Exemplo 1.7 (Cadeia de Ehrenfest)
O seguinte é um modelo simples de intercambio de calor ou de moléculas de gás entre dois corpos isolados. Supo-
nha que temos duas caixas, identificadas como 1 e 2, e d bolas rotulados 1, 2, · · · , d. Inicialmente, algumas dessas
bolas estão na caixa 1 e as restantes estão na caixa 2. Um inteiro é escolhido aleatoriamente a partir de 1, 2, · · · , d
e a bola rotulada por esse inteiro é removida da sua caixa e colocada na caixa oposta. Este procedimento é
repetido indefinidamente com seleções independente de uma tentativa para outra. Seja Xn o número de bolas
na caixa 1 após a n-ésima tentativa. Então {Xn } é uma Cadeia de Markov em S = {0, 1, 2, · · · , d}.
A função de transição desta Cadeia de Markov é calculada supondo que há bolas x na caixa 1 no tempo
n. Em seguida, com probabilidade x/d a bola escolhida na (n + 1)-ésima tentativa será retirada da caixa 1 e
transferida para a caixa 2. Neste caso, restarão x − 1 bolas na caixa 1 no instante de tempo n + 1. Da mesma
forma, com probabilidade (d−x)/d a bola escolhida na tentativa (n+1)-ésima sairá da caixa 2 e será transferida
para a caixa 1, resultando em x + 1 bolas na caixa 1 no tempo n + 1. Assim, a função de transição desta Cadeia
de Markov é dada por  x

 , y = x − 1,

 d
px,y = x
 1− , y = x + 1,

 d

0, caso contrário·
Note-se que esta cadeia somente pode ir, em uma transição, de x para x − 1 ou x + 1 com probabilidade positiva.
Exemplo 1.8 (Google)

Os motores de busca surgiram logo após o aparecimento da Internet, com a intenção de prestar um serviço
extremamente importante: a busca de qualquer informação na rede, apresentando os resultados de uma forma
organizada, e também com a proposta de fazer isto de uma maneira rápida e eficiente. A partir deste preceito
básico, diversas empresas se desenvolveram, chegando algumas a valer milhões de dólares. Entre as maiores
empresas encontram-se Google, Yahoo, Lycos, Cadê e outras. Os buscadores se mostraram imprescindı́veis para
o fluxo de acesso e a conquista de novos visitantes.
A matriz de probabilidades de transição para a Cadeia de Markov cujo grafo é apresentado na Figura 1.4
(a) é:
1 2 3 4 5
 
1 0 1/2 1/2 0 0
2 1/5 1/5 1/5 1/5 1/5 

P = 3  1/3 1/3 0 1/3 0 ·

4  0 0 0 0 1 
5 0 0 1/2 1/2 0
Suponha que o internauta navega por páginas da Web em um universo de cinco páginas, como mostrado na
Figura 1.4 (a), sendo cada página os elementos do espaço de estados S = {1, 2, 3, 4, 5}. O internauta escolhe
a próxima página para ver selecionando com igual probabilidade a partir das páginas apontadas pela página
atual. Se uma página não tem qualquer ligação de saı́da (por exemplo, página 2), em seguida, o interessado
seleciona qualquer uma das páginas do universo, com igual probabilidade. Poderı́amos estar interessados em
encontrar a probabilidade de que o internauta veja a i-ésima página.
O comportamento de visualização pode ser modelado por uma Cadeia de Markov em que o estado representa
a página atualmente visualizada. Se a página atual aponta para k páginas, então a próxima página é selecionado
a partir desse grupo com probabilidade 1/k. Se a página atual não aponta para nenhuma página, então a próxima
página pode ser qualquer uma das cinco páginas com probabilidade de transição 1/5.
Figura 1.4: Grafo das probabilidades de transição num buscador.
O modelo markoviano de internauta aleatório constitui a base para o algoritmo PageRank, que foi introduzido
pelo Google para classificar a importância de uma página na Web. O ranking de uma página é dado pela chamada
distribuição estacionária da Cadeia de Markov (ver Seção 1.4). O tamanho do espaço de estados nessa Cadeia de
Markov é de bilhões de páginas!3 e no Exemplo 1.8 mostramos a abordagem básica para a atribuição do ranking de
páginas Web segundo uma Cadeia de Markov. Esta estratégia resolve de maneira simples o caso em que os usuários
ficam presos em uma página sem links de saı́da, ou seja, página 2 na Figura 1.4 (a).
O método, no entanto, não é suficiente para assegurar que a Cadeia de Markov é irredutı́vel (Seção 1.3.3) e
aperiódica (Seção 1.4.5). Por exemplo, na Figura 1.4 (b) os usuários também podem tornar-se presos na classe
3
Para maiores informações acerca do algoritmo PageRank ver o livro Langville, A.M. and Meyer, C.D.(2006). Google’s PageRank
and Beyond: The Science of Search Engine Rankings. Princeton University Press.
periódica. Isto coloca um problema para o algoritmo de classificação que usa o poder da matriz de probabilidade de
transição para obter a distribuição estacionária (Seção 1.4). Para lidar com este problema, o algoritmo PageRank
também assume a chamada classificação apropriada. Maiores informações podem ser encontradas no artigo Page,
Brin, Motwani & Winograd (1998) e mais recentemente no livro Langville & Meyer (2011), dentre outros.
Aplicações diversas são apresentadas nos exemplos seguintes.
Figura 1.5: A geração que segue {Aa, Aa}.
Exemplo 1.9 (Experiência de criação de plantas)

Um botânico está estudando uma certa variedade de plantas que é monóica (tem órgãos masculinos e femininos
em flores separadas em uma única planta). Ele começa com duas plantas I e II e poliniza-as transversalmente
atravessando o macho I com a fêmea II e a fêmea I com o macho II para produzir dois descendentes. As plantas
originais são destruı́das e o processo é repetido assim que a nova geração estiver madura. Várias replicações
do estudo são executadas simultaneamente. O botânico pode estar interessado na proporção de plantas em
qualquer geração que tenham cada um dos vários genótipos possı́veis para um gene especı́fico.
Suponha que o gene tenha dois alelos, A e a. O genótipo de um indivı́duo será uma das três combinações
AA, Aa ou aa. Quando um novo indivı́duo nasce, obtém um dos dois alelos (com probabilidade 1/2 cada) de
um dos pais e ele obtém de forma independente um dos dois alelos do outro pai. Os dois descendentes obtêm
seus genótipos independentemente uns dos outros. Por exemplo, se os pais têm genótipos AA e Aa, então uma
descendência receberá A com certeza do primeiro pai e receberá A ou a do segundo pai com uma probabilidade de
1/2 cada. Considere os estados desta população serem o conjunto de genótipos dos dois membros da população
atual. Não vamos distinguir o conjunto {AA, Aa} de {Aa, AA}. Existem então seis estados: {AA, AA},
{AA, Aa}, {AA, aa}, {Aa, Aa}, {Aa, aa} e {aa, aa}. Para cada estado, podemos calcular a probabilidade de
que a próxima geração esteja em cada um dos seis estados. Por exemplo, se o estado for {AA, AA} ou {aa, aa},
a próxima geração estará no mesmo estado com probabilidade 1. Se o estado for {AA, aa}, a próxima geração
estará no estado {Aa, Aa} com probabilidade 1. Os outros três estados têm transições mais complicadas.
Se o estado atual é {Aa, Aa}, então todos os seis estados são possı́veis para a próxima geração. Para calcular
a distribuição de transição, ajuda a calcular primeiro a probabilidade de uma prole dada ter cada um dos três
genótipos. A Figura 1.5 ilustra a possı́vel prole neste estado. Cada seta que vai para baixo na Figura 1.5 é uma
possı́vel herança de um alelo, e cada combinação de setas que termina em um genótipo tem probabilidade de
1/4. Segue-se que a probabilidade de AA e aa são ambas 1/4, enquanto a probabilidade de Aa é 1/2, porque
duas combinações diferentes de flechas levam a essa prole. Para que o próximo estado seja {AA, AA}, ambos
os descendentes devem ser AA independentemente, então a probabilidade dessa transição é 1/16. O mesmo
argumento implica que a probabilidade de uma transição para {aa, aa} é 1/16. Uma transição para {AA, Aa}
exige que uma prole seja AA (probabilidade 1/4) e a outra seja Aa (probabilidade 1/2). Mas os dois genótipos
diferentes podem ocorrer em qualquer ordem, então toda a probabilidade de tal transição é 2 × (1/4) × (1/2) =
1/4. Um argumento semelhante mostra que uma transição para {Aa, aa} também tem probabilidade 1/4. Uma
transição para {AA, aa} exige que uma prole seja AA (probabilidade 1/4) e a outra seja aa (probabilidade 1/4).
Mais uma vez, estes podem ocorrer em duas ordens, então toda a probabilidade é 2 × 1/4 × 1/4 = 1/8. Por
subtração, a probabilidade de uma transição para {Aa, Aa} deve ser 1 − 1/16 − 1/16 − 1/4 − 1/4 − 1/8 = 1/4.
Aqui está a matriz de transição, que pode ser verificada de forma semelhante àquela que acabamos de fazer.
{AA, AA} {AA, Aa} {AA, aa} {Aa, Aa} {Aa, aa} {aa, aa}
 
{AA, AA} 1.0000 0.0000 0.0000 0.0000 0.8888 0.0000
{Aa, AA} 
 0.2500 0.5000 0.0000 0.2500 0.0000 0.0000 
{AA, aa} 
 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 
·
P= 
{Aa, Aa}  0.0625 0.2500 0.1250 0.2500 0.2500 0.0625 
{Aa, aa}  0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 
{aa, aa} 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
Exemplo 1.10 (Problema de gerenciamento)

Em uma indústria, a produção de um determinado produto é regulada de acordo com o estoque existente no
final do dia. Ou seja, se existirem pedidos insatisfeitos ou se o estoque é zero, a produção do próximo dia
abrange as ordens insatisfeitas mais duas a mais unidades métricas (u.m.). Pelo contrário, se existe um estoque
não zero, não há produção para o dia seguinte. Sabemos ainda que a demanda dos consumidores pelo produto
é de 1 u.m. por dia com probabilidade de 60%, ou 2 u.m. por dia com probabilidade de 40%. Queremos saber,
por exemplo, qual é a probabilidade de ter ordens insatisfeitas no longo prazo.
Uma vez que a demanda máxima do produto é de 2 u.m., a produção da fábrica no primeiro dia de sua
função deve ser de 2 u.m. e, portanto, no final do dia, o estoque é zero ou 1 u.m.. No primeiro caso, o processo
é repetido da mesma maneira. No último caso, a produção do dia seguinte é zero e, portanto, no final deste dia,
o estoque é zero (neste caso o processo é repetido da mesma maneira) ou há ordens insatisfeitas de 1 u.m.. No
último caso, a produção do dia seguinte é de 3 u.m. ou seja, 1 u.m. para cobrir as ordens insatisfeitas do dia
anterior mais 2 u.m., e assim por diante. Torna-se, portanto, evidente que, de acordo com o ritmo de produção
acima mencionado, há três situações possı́veis no final de cada dia: ordens insatisfeitas de 1 u.m., estoque zero
e estoque de 1 u.m.. Evidentemente, nosso problema pode ser descrito com uma Cadeia de Markov tendo como
matriz de probabilidades de transição
Ordens insatisfeitas Estoque zero Estoque de 1 u.m.

 
Ordens insatisfeitas 0.0 0.4 0.6
P = Estoque zero  0.0 0.4 0.6 ·
Estoque de 1 u.m. 0.4 0.6 0.0
1.1.4 Exercı́cios
1. Mostre que o seguinte processo auto-regressivo é um processo Markov:
Yn = ρYn−1 + Xn , Y0 = 0,
onde X1 , · · · , Xn são variáveis aleatórias independentes e igualmente distribuı́das.

2. Cinco pontos são marcados sobre um cı́rculo. Um processo se move a partir de um determinado ponto a seus vizinhos, com uma
probabilidade de 1/2 para cada vizinho. Encontre a matriz de transição da Cadeia de Markov resultante.
3. Sejam {Xn } e {Yn } duas Cadeias de Markov com espaço de estados S = Z. É necessariamente {Xn + Yn } uma Cadeia de
Markov?
4. Seja {X n } a sequência das médias amostrais calculadas a partir de X1 , X2 , · · · , uma sequência de variáveis aleatórias indepen-
dentes e identicamente distribuı́das, isto é,
X1 + · · · + Xn
Xn = ·
n
a) É {X n } um processo de Markov?
b) Se a resposta à primeira parte é sim, encontrar a probabilidade de transição P (X n = x|X n−1 = y).
5. Seja {Xn } uma Cadeia de Markov. Prove que para todo 1 < r < n,
P (Xx = x|Xi = xi , i = 1, 2, · · · , r − 1, r + 1, · · · , n) =
= P (Xr = x|Xr−1 = xr−1 , Xr+1 = xr+1 )·
6. Realizamos uma sequência de experimentos da seguinte forma: primeiro uma moeda honesta é lançada. Em seguida, se no
experimento n − 1 sai cara, jogamos uma moeda honesta; se nele sai coroa lançamos uma moeda que tem probabilidade de 1/n
de obter cara. Quais são as probabilidades de transição? É este um processo estacionário?
7. Uma urna contém inicialmente cinco bolas pretas e cinco bolas brancas. A seguinte experiência é repetida indefinidamente: Uma
bola é retirada da urna; se a bola for branca, ela é colocada de volta na urna, caso contrário ele é deixada de fora. Considere
Xn o número de bolas pretas restantes na urna após a n-ésima retirada da urna.
a) É {Xn } um processo de Markov? Se assim for, encontrar as probabilidades de transição adequados e faça o grafo corres-
pondente.
b) Será que as probabilidades de transição dependem de n?
8. Mostrar que qualquer sequência de variáveis aleatórias independentes que assumem valores em um conjunto enumerável S é
uma Cadeia de Markov. Em qual condição essa cadeia é homogênea?
9. Demonstrar o Teorema 1.1
10. Suponha que Joâo está atirando cestas no ginásio da escola e está muito interessado no número de cestos ele é capaz de acertar
em sequência. Suponha que cada tiro vai entrar no cesto com uma probabilidade α ∈ (0, 1) e que o sucesso ou fracasso de cada
tiro é independente de todos os outros tiros. Considere Xn ser o número de disparos que ele acertou após n tiros. Assim, por
exemplo, X0 = 0 e X1 ∈ {0, 1}, dependendo se ele acertou ou não o primeiro tiro. É razoável modelar Xn como uma cadeia de
Markov? Qual é o espaço de estado? Qual é a matriz de transição?
11. Para uma Cadeia de Markov {Xn }, prove que
P (Xn = j|Xn1 = i1 , · · · , Xnk = ik ) = P (Xn = j|Xnk = ik ),
qualquer sejam n1 < n2 < · · · < nk < n.

12. Prove as expressões das matrizes de transição no Exemplo 1.5 b) e c).
13. Suponha que um aluno vai chegar na hora ou atrasado para uma determinada classe e que os eventos de que ele está na hora ou
atrasado para a aula, em dias sucessivos, formam uma cadeia de Markov com matriz de probabilidades de transição estacionária.
Suponhamos também que, se ele está atrasado em um determinado dia, então a probabilidade de que ele vai chegar na hora
certa no dia seguinte é de 0,8. Além disso, se ele chega em tempo em um determinado dia, então a probabilidade de que ele
chegará tarde no dia seguinte é de 0,5.
a) Se o aluno está atrasado em um determinado dia, qual é a probabilidade de que ele vai estar na hora em cada um dos
próximos três dias?
b) Se o aluno está no tempo em um determinado dia, qual é a probabilidade de que ele chegará tarde em cada um dos
próximos três dias?
14. Suponha que a profissão de um homem pode ser classificada como profissional, trabalhador qualificado ou operário não qualificado.
Suponha que, dos filhos de homens profissionais, 80 por cento são profissionais, 10 por cento são trabalhadores qualificados
e 10 por cento são trabalhadores não qualificados. No caso dos filhos de operários especializados, 60 por cento são hábeis
trabalhadores qualificados, 20 por cento são profissionais e 20 por cento são trabalhadores não qualificados. Finalmente, no caso
de trabalhadores não qualificados, 50 por cento dos filhos são trabalhadores não qualificados e 25 por cento em cada um são as
outras duas categorias. Suponha que cada homem tem pelo menos um filho e que seguindo a profissão de um filho escolhido
aleatoriamente de uma determinada famı́lia através de várias gerações temos definida uma Cadeia de Markov. Configure a
matriz de probabilidades de transição. Encontre a probabilidade de que um neto escolhido aleatoriamente de um trabalhador
não qualificado seja um homem profissional.
15. No Exercı́cio 14 assumimos que todo homem tem pelo menos um filho. Suponha que, ao invés disso a probabilidade de que um
homem tenha pelo menos um filho é 0,8. Formar uma cadeia de Markov com quatro estados. Se um homem tem pelo menos
um filho, a probabilidade de que o filho está em uma profissão especı́fica é o mesmo que no Exercı́cio 11. O quarto estado
seria o caso de não houver filho e, portanto, não existir continuidade na linha masculina. Encontre a matriz de probabilidades
de transição e encontrar a probabilidade de que um neto escolhido aleatoriamente de um trabalhador não qualificado seja um
homem profissional.
16. Considere um passeio aleatório, isto é, uma Cadeia de Markov com espaço de estado o conjunto S = {0, 1, · · · , M } e probabili-
dades de transição
p0,1 = 1, pM,M −1 = 1,
e para x = 1, · · · , M − 1
px,x−1 = 1 − α, px,x+1 = α com 0 < α < 1·
Desenhe o grafo da matriz de transição de probabilidades.
17. Uma máquina é constituı́da por duas partes que não são reparados de forma independente. A parte operante falha durante
qualquer dia com probabilidade α. Uma parte que não está funcionando é reparado no dia seguinte com probabilidade β.
Defina Xn como o número de peças trabalhando no n-ésimo dia. Mostre que {Xn } é uma Cadeia de Markov com três estados e
apresentar sua matriz de probabilidades de transição.
18. Seja {Xn : n ≥ 0} uma Cadeia de Markov. Mostre que
P (X0 = x0 |X1 = x1 , · · · , Xn = xn ) = P (X0 = x0 |X1 = x1 )·

1.2. CÁLCULOS COM A FUNÇÃO DE TRANSIÇÃO 19
1.2 Cálculos com a função de transição

Seja {Xn } uma Cadeia de Markov com espaço de estados S e função de transição p. Nesta seção vamos mostrar
como diversas probabilidades condicionais podem ser expressas em termos de p e definiremos também a função de
transição em m passos da Cadeia de Markov.
Teorema 1.4
Seja {Xn } uma Cadeia de Markov em S com matriz de transição P = (px,y ). Então,
P (Xn+1 = xn+1 , · · · , Xn+m = xn+m |X0 = x0 , · · · , Xn = xn )

= pxn ,xn+1 · · · pxn+m−1 ,xn+m · (1.20)
Demonstração : Para demonstrar a relação em (1.20), utilizamos a definição de probabilidade condicional na parte
esquerda como
P (X0 = x0 , · · · , Xn+m = xn+m )
·
P (X0 = x0 , · · · , Xn = xn )
Pela propriedade em (1.17) este quociente é igual a
π0 (x0 )px0 ,x1 · · · pxn+m−1 ,xn+m
,
π0 (x0 )px0 ,x1 · · · pxn−1 ,xn
do qual deduzimos a expressão à direita em (1.20).
Escrevendo convenientemente o resultado do Teorema 1.4 temos, da expressão em (1.20), que

P (Xn+1 = y1 , · · · , Xn+m = ym |X0 = x0 , · · · , Xn−1 = xn−1 , Xn = x) = px,y1 py1 ,y2 · · · pym−1 ,ym · (1.21)
Utilizemos este resultado para provar uma propriedade mais geral. Consideremos A0 , A1 , · · · , An−1 subconjuntos
do espaço de estados S. Segue então, da expressão em (1.21) que
P (Xn+1 = y1 , · · · , Xn+m = ym |X0 ∈ A0 , · · · , Xn−1 ∈ An−1 , Xn = x)
= px,y1 py1 ,y2 · · · pym−1 ,ym · (1.22)
Mais ainda, se B1 , · · · , Bm são subconjuntos de S, segue de (1.22) que
P (Xn+1 ∈ B1 , · · · , Xn+m ∈ Bm |X0 ∈ A0 , · · · , Xn−1 ∈ An−1 , Xn = x)
∑ ∑
= ··· px,y1 py1 ,y2 · · · pym−1 ,ym · (1.23)
y1 ∈B1 ym ∈Bm
Definição 1.10
Seja {Xn } uma Cadeia de Markov em S com matriz de transição P = (px,y ). A função de transição em
(m)
m-passos px,y , a qual fornece a probabilidade de transição do estado x ao estado y em m-passos, define-se como
∑ ∑
p(m)
x,y = ··· px,y1 py1 ,y2 · · · pym−2 ,ym−1 pym−1 ,y , (1.24)
y1 ym−1
(1)
para m ≥ 2, como px,y = px,y e como
{
1 se x = y
p(0)
x,y = ·
0 caso contrário
Exemplo 1.11 (Fila de servidor único)

Um gerente normalmente verifica o vendedor em sua loja a cada 5 minutos para ver se está ocupado ou não. Ele
modela o estado do vendedor como 1 se está ocupado ou 2 caso não esteja ocupado. Consideremos a sequência
de estados resultantes nas verificações como uma Cadeia de Markov com dois estados possı́veis e função de
transição estacionária dada pela seguinte matriz:
Ocupado Não ocupado
( )
Ocupado 0.9 0.1
P= ·
Não ocupado 0.6 0.4
O gerente percebe que, no final do dia, estará afastado por 10 minutos e vai perder uma vistoria do vendedor.
Ele quer calcular a distribuição condicional dois perı́odos de tempo no futuro dado cada um dos estados possı́veis.
O raciocı́nio é da seguinte forma: se Xn = 1, por exemplo, o estado terá que ser 1 ou 2 no tempo n+1, mesmo que
ele não se importe agora sobre o estado no tempo n + 1. Mas, se ele calcula a distribuição condicional conjunta
de Xn+1 e Xn+2 dado Xn = 1, ele pode somar sobre os possı́veis valores de Xn+1 para obter a distribuição
condicional de Xn+2 dado Xn = 1. Em sı́mbolos,
P (Xn+2 = 1|Xn = 1) = P (Xn+1 = 1, Xn+2 = 1|Xn = 1)
+P (Xn+1 = 2, Xn+2 = 1|Xn = 1)·
Pelo Teorema 1.4 temos que
P (Xn+1 = 1, Xn+2 = 1|Xn = 1) =
= P (Xn+1 = 1|Xn = 1)P (Xn+2 = 1|Xn+1 = 1)
= 0.9 × 0.9 = 0.81·
Similarmente
P (Xn+1 = 2, Xn+2 = 1|Xn = 1) =
= P (Xn+1 = 2|Xn = 1)P (Xn+2 = 1|Xn+1 = 2)
= 0.1 × 0.6 = 0.06·
Segue que
P (Xn+2 = 1|Xn = 1) = 0.81 + 0.06 = 0.87
e, portanto,
P (Xn+2 = 2|Xn = 1) = 1 − 0.87 = 0.13·
De maneira similar, se Xn = 2,
P (Xn+2 = 1|Xn = 2) = 0.6 × 0.9 + 0.4 × 0.6 = 0.78
e
P (Xn+2 = 2|Xn = 2) = 1 − 0.78 = 0.22·
Estes cálculos podem ser feitos também utilizando a Definição 1.10. Assim,
(2)
p1,2 = p1,1 p1,2 + p1,2 p2,2 = 0, 9 × 0, 1 + 0, 1 × 0, 4 = 0, 09 + 0, 04 = 0, 13
e
(2)
p2,2 = p2,1 p1,2 + p2,2 p2,2 = 0, 6 × 0, 1 + 0, 4 × 0, 4 = 0, 06 + 0, 16 = 0, 22·
Podemos utilizar a expressão (1.23) para esclarecer ainda o conceito de função de transição em m-passos.
Escolhendo B1 , · · · , Bm−1 = S e Bm = {y} segue, pela expressão mencionada, que
P (Xn+m = y|X0 ∈ A0 , · · · , Xn−1 ∈ An−1 , Xn = x) = p(m)

x,y · (1.25)
Em particular, assumindo A0 , · · · , An−1 = S, vemos que

P (Xn+m = y|Xn = x) = p(m)
x,y · (1.26)
Teorema 1.5
Seja {Xn } uma Cadeia de Markov em S com matriz de transição P = (px,y ). Então, a probabilidade de
transição em n + m-passos pode ser escrita em termos das probabilidades de transição em n-passos e m-passos
como ∑
p(n+m)
x,y = p(n) (m)
x,z pz,y · (1.27)
z∈ S
Demonstração : Observemos que, da expressão (1.25), segue que
P (Xn+m = y|X0 = x, Xn = z) = p(m)

z,y · (1.28)
Dado que
(n+m)
px,y = P (Xn+m = y|X0 = x)
∑
= P (Xn = z|X0 = x)P (Xn+m = y|X0 = 0, Xn = z)
∑S
z∈
= p(n)
x,z P (Xn+m = y|X0 = x, Xn = z),
z∈ S
da expressão anterior e do resultado em (1.28) concluı́mos a demonstração.
E em termos da distribuição inicial? como escrever a distribuição de Xn em termos da distribuição inicial π0 e

da probabilidade em n-passos? A resposta é fornecida pelo seguinte teorema.
Teorema 1.6
Seja {Xn } uma Cadeia de Markov em S com matriz de transição P = (px,y ) e distribuição inicial π0 . Então,
podemos escrever a distribuição de Xn da seguinte maneira
∑
P (Xn = y) = π0 (x)p(n)
x,y · (1.29)
x∈ S
Demonstração : Dado que ∑

P (Xn = y) = P (X0 = x, Xn = y),
x∈ S
então ∑
P (Xn = y) = P (X0 = x)P (Xn = y|X0 = x)·
x∈ S
Um método alternativo de calcularmos a distribuição de Xn é obtido da seguinte maneira. Observe que

∑
P (Xn+1 = y) = P (Xn = x, Xn+1 = y)
∑S
x∈
= P (Xn = x)P (Xn+1 = y|Xn = x),
x∈ S
do qual obtemos que ∑

P (Xn+1 = y) = P (Xn = x)px,y · (1.30)
x∈ S
Se conhecemos a distribuição de X0 , podemos usar o resultado em (1.30) para encontrar a distribuição de X1 .

Em seguida, sabendo a distribuição de X1 , utilizamos (1.30) novamente para encontrar a distribuição de X2 . Da
mesma forma, podemos encontrar a distribuição de Xn aplicando n vezes a relação encontrada em (1.30).
Generalizando os cálculos no Exemplo 1.11 a três ou mais transições pode parecer entediante. No entanto,
quando se examinam os cálculos com cuidado, vê-se um padrão que vai permitir um cálculo compacto das proba-
bilidades de transição para várias etapas. Considere uma Cadeia de Markov estacionária com N estados possı́veis
1, · · · , N e matriz de transição P. Assumindo-se que a cadeia está em estado i num determinado momento n,
vamos agora determinar a probabilidade de que a cadeia irá estar no estado j no tempo n + 2. Em outras palavras,
vamos determinar a probabilidade condicional de Xn + 2 = j dado Xn = i. A notação para esta probabilidade é
(2)
pi,j .
Argumentamos o que o gerente fez no Exemplo 1.11. Seja r o valor de Xn+1 que não é de interesse primordial,
mas é útil para o cálculo. Depois
(2)
pi,j = P (Xn+2 = j|Xn = i)
N
∑
= P (Xn+1 = r, Xn+2 = j|Xn = i)
r=1
∑N
= P (Xn+1 = r|Xn = i)P (Xn+2 = j|Xn+1 = r, Xn = i)
r=1
∑N
= P (Xn+1 = r|Xn = i)P (Xn+2 = j|Xn+1 = r)
r=1
∑N
= pi,r pr,j ,
r=1
em que a terceira igualdade segue do Teorema 1.4 e a quarta igualdade seguinte a partir da definição de uma Cadeia
de Markov.
(2)
O valor de pi,j pode ser determinado da seguinte maneira: se a matriz de transição P é elevada ao quadrado,
∑
ou seja, se a matriz P 2 = P × P for calculada, o elemento da fila i e coluna j da matriz P 2 será N r=1 pi,r pr,j .
(2) 2
Portanto, pi,j será o elemento da fila i e a coluna j de P . Por um argumento semelhante, a probabilidade de que
(3)
a cadeia vai passar do estado i para o estado j em três etapas ou pi,j = P (Xn+3 = j|Xn = i), pode ser encontrada
(3)
através da construção a matriz P 3 = P 2 P. A probabilidade pi,j será o elemento da fila i com a coluna j da matriz
P 3.
Em geral, temos o seguinte resultado.
Teorema 1.7
Seja P a matriz de transição de uma Cadeia de Markov estacionária com espaço de estados finito. Para cada
(m)
m = 2, 3, · · · a m-ésima potência P m da matriz P tem na linha i e coluna j a probabilidade pi,j , a probabilidade
da cadeia passar do estado i para o estado j em m passos.
Demonstração : Exercı́cio.
Em resumo, a linha i da matriz de transição em m-passos dá a distribuição condicional de Xn+m |Xn = i para
todo i = 1, · · · , N e todos n, m = 1, 2, · · · .
Exemplo 1.12 (Continuação do Exemplo 1.11)

Utilizando o Teorema 1.7 podemos facilmente calcular
( ) ( ) ( )
2 0.9 0.1 0.9 0.1 0.87 0.13
P = × = ·
0.6 0.4 0.6 0.4 0.78 0.22
Uma outra forma de fazer os cálculos é utilizando um dos pacotes de funções disponı́veis na linguagem de
programação R (R Core Team, 2014). Utilizaremos o pacote de funções markovchain (Giorgio, 2015).
library(markovchain)
estados = c("Ocupado","N~
ao ocupado")
Prob.T=matrix(c(0.9,0.1,0.6,0.4),nrow=2,
ncol=2,byrow=T, dimnames=list(estados,estados))
ProbT = new("markovchain", states=estados, transitionMatrix=Prob.T,
name="Fila de servidor único")
Com as linhas de comando acima fazemos a leitura do pacote de funções escolhido (markovchain), definimos
os nomes dos estados e a matriz de probabilidades de transição. Temos por resultado um objeto de nome ProbT
contendo a matriz no formato requerido. Basta agora digitar ProbT na linha de comandos do R e temos por
resposta a matriz de probabilidades de transição.
ProbT
Fila de servidor único
A 2 - dimensional discrete Markov Chain with following states
Ocupado N~
ao ocupado
The transition matrix (by rows) is defined as follows
Ocupado N~ao ocupado
Ocupado 0.9 0.1
N~
ao ocupado 0.6 0.4
Para calcularmos as probabilidades de transição em duas e três etapas fazemos

ProbT^2
Fila de servidor único^2
Ocupado N~
ao ocupado
Ocupado N~ao ocupado
Ocupado 0.87 0.13
N~
ao ocupado 0.78 0.22
ProbT^3
Fila de servidor único^3
A 2 - dimensional discrete Markov Chain defined by the following states:
Ocupado, N~ao ocupado
The transition matrix (by rows) is defined as follows:
Ocupado N~
ao ocupado
Ocupado 0.861 0.139
N~
ao ocupado 0.834 0.166
A potência m-ésima da matriz de probabilidades de transição de uma Cadeia de Markov dá as probabilidades
de transição de um estado para outro em m finitas unidades de tempo. Será útil, para estender este conceito, como
fazer estes cálculos para intervalos de tempo mais longos.
1.2.1 Tempo de primeira visita

Seja {Xn } Cadeia de Markov com espaço de estados S e matriz de transição P e A um subconjunto de S. Nesta
seção, estamos interessados em saber qual é a probabilidade da cadeia atingir um estado em A. Especificamente,
queremos derivar uma expressão para a probabilidade de que o tempo para atingir um estado em A seja finito, bem
como a esperança desse tempo.
Definição 1.11
Seja A ⊆ S. O tempo de primeira visita TA , da Cadeia de Markov {Xn }, ao conjunto de estados A é definido
como
TA = min(n ≥ 0 : Xn ∈ A), (1.31)
e como TA = ∞ se A = ∅.
Em outras palavras, TA é uma variável aleatória com valores inteiros não negativos assumindo o primeiro tempo
positivo em que a Cadeia de Markov atinge A. Denotaremos o tempo de primeira visita ao ponto x ∈ S por Tx .
Utilizaremos a notação Px (·) para denotar a probabilidade de vários eventos definidos em termos da Cadeia de
Markov começando em x. Então
Px (X1 ̸= y, X2 ̸= y, X3 = y),
denota a probabilidade de que a Cadeia de Markov começando no estado x esteja no estado y no tempo 3, mas não
nos tempos 1 e 2.
Teorema 1.8
Seja {Xn } uma Cadeia de Markov com espaço de estados S e sejam x, y ∈ S. Então
n
∑
p(n)
x,y = Px (Ty = m)p(n−m)
y,y , (1.32)
m=1
para n ≥ 1.
Demonstração : Note que os eventos {Ty = m, Xn = y} para 1 ≤ m ≤ n, são eventos disjuntos e que
n
∪
{Xn = y} = {Ty = m, Xn = y}·
m=1
Temos a rigor decomposto o evento {Xn = y} de acordo com o tempo de primeira visita de y. Vemos a partir desta
decomposição que
n
∑
(n)
px,y = Px (Xn = y) = Px (Ty = m, Xn = y)
m=1
n
∑
= Px (Ty = m)P (Xn = x|X0 = x, Ty = m)
m=1
∑n
= Px (Ty = m)P (X0 = x|X0 = x, X1 ̸= y, · · · ,
m=1
Xm−1 ̸= y, Xm = y)
n
∑
= Px (Ty = m)p(n−m)
y,y ·
m=1
e, portanto, a equação em (1.32) se satisfaz.
Definição 1.12
Seja {Xn } uma Cadeia de Markov com espaço de estados S. A probabilidade de começar no estado x ∈ S e
atingir A ⊂ S, em um tempo finito, é definida como
ρx,A = Px (TA < ∞)· (1.33)
Então ρx,y denota a probabilidade da Cadeia de Markov partindo do estado x e chegando o estado y (A = {y})
en algum tempo finito. Em particular, ρy,y denota a probabilidade de que a Cadeia de Markov partindo de y retorne
a y. Devemos esclarecer que temos definido dois conceitos diferentes. Um é a probabilidade de, partindo de um
estado x a cadeia retornar num tempo finito a um conjuntos de estados A, esta probabilidade a chamamos de ρx,A .
Outro conceito é a probabilidade de que a cadeia, partindo de um estado x, atingir um outro estado y num tempo
finito n, chamada de Px (Ty = n).
Observemos também que o tempo médio da cadeia atingir A é dado por
∑
Ex (TA ) = nPx (TA = n)· (1.34)
n<∞
Dois resultados posteriores nos permitirão calcular explicitamente as quantidades ρx,y e Ex (TA ) por meio de certas
equações lineares associadas à matriz de transição.
Exemplo 1.13
Consideremos a situação de uma Cadeia de Markov com matriz de transição
1 2 3 4
 
1 1 0 0 0
2 1/2 0 1/2 0 
P=  ·
3 0 1/2 0 1/2 
4 0 0 0 1
Começando em 2, qual é a probabilidade de atingir o estado 4? Quanto tempo demora até que a cadeia estar
no estado 1 ou no 4?
Observemos que
ρ1,4 = Px (T4 < ∞) = 0, ρ4,4 = Px (T4 < ∞) = 1, E1 (T{1,4} ) = 0 e E4 (T{1,4} ) = 0·
Suponhamos agora que começamos no estado 2 e consideraremos a situação depois de fazer um passo. Com
probabilidade 1/2 pulamos ao estado 1 e com probabilidade 1/2 pulamos ao estado 3. Assim,
1 1
ρ2,4 = ρ1,4 + ρ3,4
2 2
e
1 1
E2 (T{1,4} ) = 1 +
E1 (T{1,4} ) + E3 (T{1,4} )·
2 2
O 1 aparece nesta última expressão porque contamos o tempo do primeiro passo. Similarmente,
1 1
ρ3,4 = ρ2,4 + ρ4,4
2 2
e
1 1
E3 (T{1,4} ) = 1 + E2 (T{1,4} ) + E4 (T{1,4} )·
2 2
Consequentemente (
)
1 11 1
ρ2,4 = ρ3,4 = ρ2,4 +
2 22 2
e [ ]
1 1 1
E2 (T{1,4} ) = 1 + E3 (T{1,4} ) = 1 + 1 + E2 (T{1,4} ) ·
2 2 2
Assim, a partir de 2, a probabilidade de acertar o estado 4 é 1/3 e o tempo médio para chegar é 2 assim como
é dois também o tempo médio para chegar ao estado 1. Note que, ao escrever as equações para ρ2,4 e E2 (T{1,4} )
temos feito uso implı́cito da propriedade markoviana, em assumir que a cadeia começa novamente de sua nova
posição após o primeiro salto.
Teorema 1.9
Seja {Xn } uma Cadeia de Markov com espaço de estados S e matriz de probabilidades de transição P = (px,y ).
O vetor de probabilidades {ρx,A , x ∈ S}, as probabilidades do tempo de primeira visita ao conjunto A a partir
de qualquer estado x ∈ S, é a solução não negativa mı́nima do sistema de equações lineares
ρx,A = 1, ∀x ∈ A
∑ (1.35)
ρx,A = px,y ρy,A , ∀x ∈
/ A·
y∈ S
Solução mı́nima neste teorema significa que, se ρ∗x,A for uma outra solução não negativa do sistema (1.35), então
ρ∗x,A ≥ ρx,A , ∀x ∈ S.
Demonstração : Primeiro provemos que o sistema {ρx,A , x ∈ S} satisfaz (1.35). Se X0 = x ∈ A, então TA = 0 e
ρx,A = 1. Caso X0 = x ∈/ A, então TA ≥ 1 e pela propriedade makoviana
Px (TA < ∞|X1 = y) = Py (TA < ∞) = ρy,A
e
∑
ρx,A = Px (TA < ∞) = Px (TA < ∞, X1 = y)
y∈ S
∑ ∑
= Px (TA < ∞|X1 = y)Px (X1 = y) = px,y ρy,A ·
y∈ S y∈ S
Suponhamos agora que ρ∗x,A seja uma solução do sistema (1.35). Então ρx,A = ρ∗x,A = 1 para x ∈ A. Caso x ∈
/ A,
então ∑ ∑ ∑
ρ∗x,A = px,y ρ∗y,A = px,y + px,y ρ∗y,A ·
y∈ S y∈A y ∈A
/
Substituindo a expressão de ρ∗y,A , temos que

( )
∑ ∑ ∑ ∑
ρ∗x,A = px,y + px,y py,z + py,z ρ∗z,A
y∈A y ∈A
/ z∈A z ∈A
/ ∑∑
= Px (X1 ∈ A) + Px (X1 ∈
/ A, X2 ∈ A) + px,y py,z ρ∗z,A ·
y ∈A
/ z ∈A
/
Repetindo a substituição para ρ∗z,A obtemos, depois de n substituições, que
ρ∗x,A = Px (X1 ∈ A) + · · · + Px (X1 ∈

/ A, · · · , Xn−1 ∈
/ A, Xn ∈ A)
∑ ∑
+ ··· px,z1 pz1 ,z2 · · · pzn−1 ,zn ρ∗zn ,A ·
z1 ∈A
/ zn ∈A
/
Agora, se ρ∗x,A é não negativo assim também o é o último termo da direita. O termo remanente de somas fornece o
valor de Px (TA ≤ n). Desta forma, vemos que, ρ∗x,A ≥ Px (TA ≤ n) para todo n e então
ρ∗x,A ≥ lim Px (TA ≤ n) = Px (TA < ∞) = ρx,A ·

n→∞

O sistema de equações lineares (1.35) para ρ2,4 é dado aqui por ρ4,4 = 1 e
1 1 1 1
ρ2,4 = ρ1,4 + ρ3,4 , ρ3,4 = ρ2,4 + ρ4,4
2 2 2 2
de maneira que ( )
1 1 1 1
ρ2,4 = ρ1,4 + ρ2,4 +
2 2 2 2
e
1 2 2 1
ρ2,4 =+ ρ1,4 , ρ3,4 = + ρ1,4 ·
3 3 3 3
O valor de ρ1,4 não é determinado pelo sistema (1.35), mas a condição mı́nima agora nos faz assumir ρ1,4 = 0,
portanto, obtemos ρ2,4 = 1/3 como antes. Naturalmente, a condição de contorno ρ1,4 = 0 era óbvia desde
o inı́cio para construir nosso sistema de equações e não temos de preocuparmos sobre soluções mı́nimas não
negativos.
Nos casos em que o espaço de estados é infinito, pode não ser possı́vel escrever uma condição de contorno
correspondente. Então, como veremos em exercı́cios, a condição mı́nima é essencial. Agora vamos apresentar um
resultado geral do tempo médio para atingir um conjunto de estados A. Recordemos que Ex (TA ) foi definida em
(1.34), onde TA é o tempo mı́nimo da primeira vez que {Xn }n≥1 atinge A.
Na demonstração do teorema a seguir vamos utilizar a função indicadora do conjunto {y}, 1y (z), z ∈ S, definida
por {
1, z = y,
1y (z) = · (1.36)
0, z ̸= y
Teorema 1.10
O vetor de tempos médios { Ex (TA ), x ∈ S}, os tempos médios de primeira visita ao conjunto A a partir de
qualquer estado x ∈ S, é a solução não negativa mı́nima do sistema de equações lineares
Ex (TA ) = 0, ∀x ∈ A
∑ (1.37)
Ex (TA ) = 1 + px,y Ey (TA ), ∀x ∈
/ A·
y ∈A
/
Demonstração : Primeiro vamos provar que o sistema { Ex (TA ), x ∈ S} satisfaz (1.37). Se X0 = x ∈ A, então TA = 0
e portanto Ex (TA ) = 0. Caso X0 = x ∈
/ A, então TA ≥ 1 de forma que, pela propriedade markoviana,
Ex (TA |X1 = y) = 1 + Ey (TA )
e ∑
Ex (TA ) = Ex [TA 1y (X1 )]
y∈ S ∑ ∑
= 1+ Ex (TA |X1 = y)Px (X1 = y) = 1 + px,y Ey (TA )·
y∈ S y ∈A
/
Suponhamos agora que E∗x (TA ), x ∈ S, seja uma outra solução do sistema (1.37). Então E∗x (TA ) = 0 para x ∈ A.
Se x ∈
/ A, então ∑
E∗x (TA ) = 1 + px,y E∗y (TA )
y ∈A
/ [ ]
∑ ∑
= 1+ px,y 1 + py,z E∗z (TA )
y ∈A
/ z ∈A
/ ∑∑
= Px (TA ≥ 1) + Px (TA ≥ 2) + px,y py,z E∗z (TA )·
y ∈A
/ z ∈A
/
Depois de repetir diversas vezes a substituição da expressão de E∗x (TA ) do termo final obtemos que, depois de n
passos
E∗x (TA ) = Px (TA ≥ 1) + · · · + Px (TA ≥ n)+
∑ ∑
··· px,z1 pz1 ,z2 · · · pzn−1 ,zn E∗zn (TA )·
z1 ∈A
/ zn ∈A
/
Logo, se E∗x (TA ) for não negativo,

E∗x (TA ) ≥ Px (TA ≥ 1) + · · · + Px (TA ≥ n)
e, fazendo n → ∞,
∞
∑
E∗x (TA ) ≥ Px (TA ≥ n) = Ex (TA )·
n=1

Quanto tempo demora até que a cadeia atinja o conjunto {1, 4}? Vejamos o sistema de equações (1.37) para
Ex (T{1,4} ), x ∈ {1, 2, 3, 4}.
Primeiro
E1 (T{1,4} ) = E4 (T{1,4} ) = 0·
Também
E2 (T{1,4} ) = 1 + p2,2 E2 (T{1,4} ) + p2,3 E3 (T{1,4} )
e
E3 (T{1,4} ) = 1 + p3,2 E2 (T{1,4} ) + p3,3 E3 (T{1,4} )·
Não é difı́cil obter que E2 (T{1,4} ) = E3 (T{1,4} ) = 2.
1.2.2 Classificação dos estados

Queremos agora classificar os estados segundo a possibilidade de atingir cada estado a partir de qualquer outro.
Uma vez classificados os estados, teremos como resultado as direções que pode tomar a cadeia com o passar do
tempo.
Estados absorventes
Definição 1.13
O estado a ∈ S é chamado de estado absorvente se pa,a = 1 ou, equivalentemente, se pa,y = 0, para todo y ̸= a.
Observemos que isto quer dizer que um estado do qual a cadeia não pode fugir, uma vez que chegou nele, é chamado
de estado absorvente.
No caso do Fast food, o estado 4 é absorvente, isto devido a que p4,4 = 1.
Exemplo 1.17
Mostre que se a é um estado absorvente então
p(n)
x,a = Px (Ta ≤ n),
para n ≥ 1.
(n−m)
Se a é um estado absorvente, então pa,a = 1 se 1 ≤ m ≤ n e então (1.32) implica que
n
∑
(n)
px,a = Px (Ta = m)p(n−m)
a,a
m=1
∑n
= Px (Ta = m) = Px (Ta ≤ n)·
m=1
Observe que
Px (Ty = 1) = Px (X1 = y) = px,y ,
e que ∑ ∑
Px (Ty = 2) = Px (X1 = z, X2 = y) = px,z pz,y ·
z̸=y z̸=y
Na situação de altos valores de n, as probabilidades Px (Ty = n) podem ser encontradas utilizando a expressão
∑
Px (Ty = n + 1) = px,z Pz (Ty = n) (1.38)
z̸=y
caso n ≥ 1. Para chegar ao estado y partindo do estado x, pela primeira vez no tempo n + 1, é necessário ir a
algum estado z ̸= y num primeiro passo e então ir do estado z ao estado y pela primeira vez no final de n passos
adicionais.
Estados transientes e recorrentes
Definição 1.14
Seja {Xn } uma Cadeia de Markov com espaço de estados S. O estado y ∈ S é chamado de recorrente se
ρy,y = 1 caso contrário, isto é, se ρy,y < 1 o estado y é chamado de transiente.
Se o estado y for recorrente, a Cadeia de Markov partindo de y retorna a y com probabilidade 1. Se o estado y
é transiente, a Cadeia de Markov partindo de y tem probabilidade positiva 1 − ρy,y de nunca voltar ao estado y.
Se y for um estado absorvente, então Py (Ty = 1) = py,y = 1 e, então ρy,y = 1, portanto um estado absorvente é
necessariamente recorrente.
Definição 1.15
Seja {Xn } uma Cadeia de Markov com espaço de estados S. Definimos a variável aleatória N (y) como o número
de vezes n ≥ 1, que a cadeia está no estado y ∈ S.
A variável aleatória indicadora foi definida em (1.36). Utilizando-a, vemos que 1y (Xn ) = 1 se a cadeia está no
estado y no tempo n e 1y (Xn ) = 0 caso contrário, vemos que
∞
∑
N (y) = 1y (Xn )· (1.39)
n=1
Também observamos que o evento {N (y) ≥ 1} é o mesmo do que o evento {Ty < ∞}. Então
Px (N (y) ≥ 1) = Px (Ty < ∞) = ρx,y ·
Sejam m e n dois números inteiros positivos. Sabemos que a probabilidade com a qual a Cadeia de Markov,
começando em x visita pela primeira vez o estado y no tempo m e visita novamente y n unidades de tempo depois
é
Px (Ty = m)Py (Ty = n)·
Então,
∞ ∑
∑ ∞
Px [N (y) ≥ 2] = Px (Ty = m)Py (Ty = n)
[
m=1 n=1
∞
][ ∞ ]
∑ ∑
= Px (Ty = m) Py (Ty = n)
m=1 m=1
= ρx,y ρy,y ·
Similarmente, concluı́mos que
Px (N (y) ≥ m) = ρx,y ρm−1
y,y , m ≥ 1· (1.40)
Agora estamos em condições de encontrar a expressão da probabilidade de que uma cadeia visite um estado
um determinado número de vezes. Como veremos posteriormente, utilizando estas relações vamos obter resultados
mais poderosos que nos permitirão encontrar as probabilidades de atingirmos um determinado estado.
Teorema 1.11
Seja {Xn } uma Cadeia de Markov com espaço de estados S. Então
Px (N (y) = m) = ρx,y ρm−1

y,y (1 − ρy,y ), m ≥ 1· (1.41)
Demonstração : Observemos que

Px [N (y) = m] = Px [N (y) ≥ m] − Px [N (y) ≥ m + 1],
o resultado do teorema segue da expressão em (1.40).
Também,
Px [N (y) = 0] = 1 − Px [N (y) ≥ 1],
de maneira que
Px [N (y) = 0] = 1 − ρx,y ·
Para perceber porque (1.41) deve ser verdade observemos, por exemplo, que uma cadeia começando em x visita
o estado y exatamente m vezes se, e somente se, a cadeia visita ao estado y por uma primeira vez, retorna a y
m − 1 vezes adicionais e depois nunca mais volta a y.
Definição 1.16
Seja {Xn } uma Cadeia de Markov estacionária com espaço de estados S e função de transição p. Definimos
por Ex (Xn ) a esperança da variável aleatória Xn na cadeia começando no estado x.
Por exemplo,
Ex [1y (Xn )] = Px (Xn = y) = p(n)
x,y · (1.42)
Segue das expressões em (1.39) e (1.42) que
[ ∞
] ∞ ∞
∑ ∑ ∑
Ex [N (y)] = Ex 1y (Xn ) = Ex [1y (Xn )] = p(n)
x,y ,
n=1 n=1 n=1
sendo que
∞
∑
Ex [N (y)] = p(n)
x,y , (1.43)
n=1
constitui uma forma prática para encontrar o número esperado de vezes que a cadeia visita o estado y partindo do
estado x.
Encontremos o número esperado de vezes que a cadeia assume o valor 1 partido de 1. Utilizando a expressão
∞
∑ (n)
E1 [N (1)] = p1,1 ,
n=1
temos que E1 [N (1)] = 0.3333333. Por outro lado E1 [N (2)] = 2. Como foram obtidos estes números?
Utilizando a linguagem de programação R podemos fazer os cálculos necessários para encontrar Ex [N (y)],
∀x, y ∈ S. No Exemplo 1.11 foi introduzido a forma de construir a matriz de probabilidades de transição para
(n)
sua posterior utilização em nossos cálculos. Aprendemos a encontrar as probabilidades px,y , qualquer seja o
valor finito de n. Agora necessitamos mais um passo, somar essas probabilidades. Para isso definimos a função
Soma, de argumentos a matriz P e o número de somas em (1.43).
estados = c("0","1","2","3","4")
Prob.T=matrix(c(0,1,0,0,0,0,1/4,3/4,0,0,
0,0,1/2,1/2,0,0,0,0,3/4,1/4,0,0,0,0,1),
nrow=5,ncol=5,byrow=T, dimnames=list(estados,estados))

name="Fast food")
Soma = function(M,n=10){
mm=0;
for(i in 1:n){mm=mm+(Mî)[]}
mm}
Obtemos por resultado uma matriz que constitui uma boa aproximação de Ex [N (y)], ∀x, y ∈ S e que
justifica os valores anteriormente apresentados de E1 [N (1)] e E1 [N (2)].
Assim
Soma(ProbT,60)
0 1 2 3 4
0 0 1.3333333 2 4 52.66667
1 0 0.3333333 2 4 53.66667
2 0 0.0000000 1 4 55.00000
3 0 0.0000000 0 3 57.00000
4 0 0.0000000 0 0 60.00000
Um detalhe interessante é que se aumentarmos o número de somas, os valores de Ex [N (y)], ∀x, y ∈ {0, 1, 2, 3}
não mudam.
Soma(ProbT,80)
0 1 2 3 4
0 0 1.3333333 2 4 72.66667
1 0 0.3333333 2 4 73.66667
2 0 0.0000000 1 4 75.00000
3 0 0.0000000 0 3 77.00000
4 0 0.0000000 0 0 80.00000
Podemos afirmar então que o número esperado de vezes que a cadeia visita o estado 3 partindo de 0 é
E0 [N (3)] = 4.
Qual é o número médio de refeições necessário para completar a coleção?
A resposta é indireta, no sentido de que seriam necessários pelo menos 8 ( E0 [N (1)] + E0 [N (2)] + E0 [N (4)])
refeições para completar a coleção.
Teorema 1.12
Seja {Xn } uma Cadeia de Markov estacionária com espaço de estados S e matriz de probabilidades de transição
P = (px,y ). Temos duas situações:
ρx,y
(a) Se y ∈ S é transiente, então Px [N (y) < ∞] = 1 e Ex [N (y)] = , a qual é finita para todo x ∈ S.
1 − ρx,y
(b) Se y ∈ S é recorrente, então Py [N (y) = ∞] = 1 e Ey [N (y)] = ∞. Também
Px [N (y) = ∞] = Px (Ty < ∞) = ρx,y , x ∈ S·
Se ρx,y = 0, então Ex [N (y)] = 0, enquanto se ρx,y > 0, Ex [N (y)] = ∞.
Demonstração : Seja y um estado transiente. Dado que 0 ≤ ρy,y < 1, segue de (1.40) que
Px [N (y) = ∞] = lim Px [N (y) ≥ m] = lim ρx,y ρm−1

y,y = 0·
m→∞ m→∞
Agora, pela expressão em (1.41)

∞
∑
Ex [N (y)] = mPx [N (y) = m]
m=1
∑∞
= mρx,y ρm−1
y,y (1 − ρy,y )·
m=1
Observemos que
∞
∑
Ex [N (y)] = ρx,y (1 − ρy,y ) mρm−1
y,y ,
m=1
e que a série de potências na expressão anterior é convergente, de soma

∞
∑ 1
mρm−1
y,y = ,
(1 − ρy,y )2
m=1
do qual concluı́mos que

ρx,y
Ex [N (y) = ,
1 − ρx,y
e provamos o item (a).
Seja agora y um estado recorrente. Então ρy,y = 1 e segue de (1.40) que
Px [N (y) = ∞] = lim Px [N (y) ≥ m]

m→∞
= lim ρx,y = ρx,y ·
m→∞
Em particular, Py [N (y) = ∞] = 1. Se uma variável aleatória não negativa tem probabilidade positiva de ser infinita,
então sua esperança é infinita. Logo
Ey [N (y)] = ∞·
(n)
Se ρx,y = 0, então Px [Ty = m] = 0 para todo inteiro positivo finito m, a expressão em (1.32) implica que px,y = 0,
para n ≥ 1 e, portanto, Ex [N (y)] = 0 neste caso. Se ρx,y > 0, então Px [N (y) = ∞] = ρx,y > 0 e, por isso,
Ex [N (y)] = ∞·
Isto completa a prova.
Este teorema descreve a diferença fundamental entre um estado transiente e um estado recorrente. Se y é um
estado transiente, então não importa onde a Cadeia de Markov começou, ela fará apenas um número finito de
visitas a y e o número esperado de visitas ao y é finito. Suponha, ao invés disso, que y seja um estado recorrente.
Se a Cadeia de Markov começa em y, ela voltará ao y infinitas vezes. Se a cadeia começa em algum outro estado
x, pode ser impossı́vel para ela sempre atingir y. Se for possı́vel, no entanto, e a cadeia não visitar y pelo menos
uma vez, então o fará infinitamente vezes.
1.2.3 Classificação das cadeias
Definição 1.17
Uma Cadeia de Markov {Xn } é chamada de cadeia transiente se todos os seus estados forem estados transientes.
Exemplo 1.19
Seja {Xn } uma Cadeia de Markov com espaço de estados N, os números naturais e probabilidade de transição
px,x+1 = 3/4 e px,x−1 = 1/4, ∀x ∈ N. Demonstremos que esta é uma cadeia transiente.
Uma das formas de percebermos que esta é uma cadeia transiente é observando que
X n = X 0 + ξ1 + · · · + ξ n ,
onde ξi = 1 com probabilidade 3/4 e ξi = −1 com probabilidade 1/4, i = 1, · · · . Estas podem ser consideradas
como os resultados dos lançamentos de moedas viciadas, constituindo variáveis aleatórias independentes e
igualmente distribuı́das. Pela Lei dos Grandes Números temos que Xn /n converge para E(Xn ), quando n → ∞.
Desde que E(Xn ) = 1/2 então Xn → ∞. Isto significa que não podemos visitar qualquer estado infinitas vezes.
Teorema 1.13
Seja {Xn } uma Cadeia de Markov estacionária com espaço de estados S. Então, se o espaço de estados S for
finito a cadeia deve ter pelo menos um estado recorrente e, portanto, não pode ser uma cadeia transiente.
Demonstração : Primeiro observemos que se y ∈ S for um estado transiente, então

∞
∑
Ex [N (y)] = p(n)
x,y < ∞, x∈ S
n=1
do qual concluı́mos que

lim p(n) = 0, x ∈ S· (1.44)
n→∞ x,y
Se S for finito e com todos os estados transientes, temos de (1.44) que

∑
0 = lim p(n)
x,y
n→∞
y∈ S ∑
= lim p(n)
x,y
n→∞
y∈ S
= lim Px (Xn ∈ S) = lim 1 = 1
n→∞ n→∞
o qual é uma contradição.
Corolário 1.14
(n)
Se y é um estado transiente então limn→∞ px,y = 0.
Demonstração : Consequência do resulta em (1.44).
Exemplo 1.20
Considere uma Cadeia de Markov com matriz de transição
1 2 3
 
1 1/3 1/3 1/3
P = 2 1/4 3/4 0 ·
3 0 0 1
Queremos encontrar P1 (T1 < ∞) e P1 (T2 < ∞).

Devemos observar que a expressão (1.44) permite-nos caracterizar os estados transientes. Observemos que
 
2.703815e−48 6.103413e−48 1
P 1000
= 4.577560e−48 1.033308e−47 1 ,
0 0 1
com o qual fica claro que os estados 1 e 2 são transientes e o estado 3 é absorvente, portanto, recorrente.
Utilizando a expressão (1.43) temos que E1 [N (1)] = 1/2 e E1 [N (2)] = 1/3. Agora, pelo Teorema 1.12 chegamos
a que ρ1,1 = 1/3 e ρ1,2 = 1/4.
Definição 1.18
Uma Cadeia de Markov {Xn } é dita ser recorrente se todos os seus estados forem estados recorrentes.

Observemos que nesta situação os estados 0,1,2 e 3 são transientes e o estado 4 é recorrente. Logo, este é
um exemplo de uma cadeia que não é recorrente nem transiente. Ainda podemos observar em quais estados
(n)
limn→∞ px,y = 0 e, termos assim, mais uma caracterização de estados transientes.
ProbT^100
Fast food^100
0 1 2 3 4
0 1 2 3 4
0 0 2.489206e-60 4.733165e-30 1.282881e-12 1
1 0 6.223015e-61 2.366583e-30 9.621607e-13 1
2 0 0.000000e+00 7.888609e-31 6.414404e-13 1
3 0 0.000000e+00 0.000000e+00 3.207202e-13 1
4 0 0.000000e+00 0.000000e+00 0.000000e+00 1
Percebemos com este exemplo que nem todas as cadeias devem ser ou transientes ou recorrentes. Pelo Teorema
1.13 sabemos que cadeias transientes, se existirem, devem ter espaço de estados infinito. O seguinte exemplo nos
mostra que cadeias recorrentes existem.
Exemplo 1.22 (Compras de pasta de dentes)
Consideramos um cliente que escolhe entre duas marcas de pasta de dentes A e B, em várias ocasiões. Vamos
considerar Xn = A se o cliente escolhe a marca A na n-ésima compra e Xn = B, se o cliente escolhe a marca
B na n-ésima compra. Nesta situação, a sequência de estados X1 , X2 , · · · é um processo estocástico com dois
estados possı́veis em cada tempo. As probabilidades de compra foram especificadas, dizendo que o cliente vai
escolher a mesma marca que na compra anterior com probabilidade 1/3 e vai mudar de marca com probabilidade
2/3. Desde que isso acontece independentemente das compras anteriores, vemos que este processo estocástico é
uma Cadeia de Markov estacionária com matriz de transição
A B
( )
A 1/3 2/3
P= ·
B 2/3 1/3
Este é um exemplo de Cadeia de Markov recorrente, devido a que os estados A e B ambos são recorrentes.
Para verificar esta afirmação utilizamos a função Soma definida no Exemplo 1.18, obtendo-se
Soma(ProbT,1000)
Marca A Marca B
Marca A 499.875 500.125
Marca B 500.125 499.875
ou ainda
Soma(ProbT,3000)
Marca A Marca B
Marca A 1499.875 1500.125
Marca B 1500.125 1499.875
Isto mostra que EA [N (A)] = EA [N (B)] = EB [N (A)] = EB [N (B)] = ∞. Logo, os estados desta cadeia são
recorrentes, pelo Teorema 1.12 item b).
1.2.4 Exercı́cios
( )
1 0
1. Encontre as matrizes P 2 , P 3 , P 4 e P n para uma Cadeia de Markov com matriz de probabilidades de transição P = .
( ) 0 1
0 1
Faça o mesmo se a matriz de transição fosse P = . Interprete o que acontece em cada um destes processos.
1 0
2. Prove a expressão em (1.28).
3. Seja {Xn : n ≥ 0} uma Cadeia de Markov com dois estados.
a) Encontre P0 (T0 = n).

b) Encontre P0 (T1 = n).
4. Uma Cadeia de Markov a três estados tem a seguinte como matriz de probabilidades de transição:
 
0.25 0.5 0.25
P =  0.4 0.6 0 
1 0 0
(100)
a) Qual é o valor aproximado de p1,3 ? Que interpretação você dá a esse resultado?
b) Qual é a probabilidade de que após o terceiro passo a cadeia esteja no estado 3 se o vector de probabilidades inicial é
(1/3, 1/3, 1/3)?
5. Seja y um estado transiente. Mostre que para todo x

∞
∑ ∞
∑
p(n)
x,y ≤ p(n)
y,y ·
n=0 n=0
6. Sete meninos estão brincando com uma bola. O primeiro menino sempre a lança para o segundo menino. O segundo menino
tem a mesma probabilidade de jogá-la para o terceiro ou o sétimo. O terceiro rapaz mantém a bola, se ele a receber. O quarto
menino sempre a joga para o sexto. O quinto menino tem a mesma probabilidade de jogá-la para o quarto, sexto ou sétimo
menino. O sexto menino sempre lança-a para o quarto. O sétimo menino tem a mesma probabilidade de jogá-la para o primeiro
ou quarto do menino.
a) Escreva a matriz de transição P.

b) Classifique os estados.
c) A bola é dada ao quinto menino. Encontrar a média do número de vezes que o sétimo menino terá a bola.
(n)
7. Mostre que ρx,y > 0 se, e somente se, px,y > 0 para algum inteiro positivo n.
8. Mostre que se x conduz a y e y conduz a z, então x conduz a z.
9. Considere uma Cadeia de Markov com espaço de estados S = {0, 1, · · · , 6} e matriz de transição
0 1 2 3 4 5 6
 
0 1/2 0 1/8 1/4 1/8 0 0
1 0 0 1 0 0 0 0 
2 0 0 0 1 0 0 0 
P = 3 0 1 0 0 0 0 0 ·
4 0 0 0 0 1/2 0 1/2 

5 0 0 0 0 1/2 1/2 0 
6 0 0 0 0 0 1/2 1/2
a) Determine quais estados são transientes e quais recorrentes.

b) Encontre ρ0,y , para y = 0, · · · , 6.
10. Um processo se move no espaço de estados S = {1, 2, 3, 4, 5}. Inicia-se em 1 e, em cada passo sucessivo, move-se para um
número inteiro maior do que a sua posição atual, movendo-se com igual probabilidade para cada um dos restantes números
inteiros maiores. O estado 5 é um estado absorvente. Encontre o número esperado de passos para chegar ao estado 5.
11. Para cada uma das seguintes matrizes de transição, encontrar as cinco primeiras potências da matriz. Em seguida, encontrar a
probabilidade de que o estado 2 mude para o estado 4 após 5 repetições do experimento.
   
0.1 0.2 0.2 0.3 0.2 0.3 0.2 0.3 0.1 0.1
0.2 0.1 0.1 0.2 0.4 0.4 0.2 0.1 0.2 0.1
   
(a) P = 
0.2 0.1 0.4 0.2 0.1 (b) P = 
0.1 0.3 0.2 0.2 0.2
0.3 0.1 0.1 0.2 0.3 0.2 0.1 0.3 0.2 0.2
0.1 0.3 0.1 0.1 0.4 0.1 0.1 0.4 0.2 0.2
12. Encontre todos os estados absorventes para as matrizes de transição. Quais desas matrizes descrevem Cadeias de Markov
absorventes?
   
0.15 0.05 0.8 0.4 0 0.6
(a) P =  0 1 0 (b) P =  0 1 0 
0.4 0.6 0 0.9 0 0.1
   
0.32 0.41 0.16 0.11 0.2 0.5 0.1 0.2
0.42 0.30 0 0.28 0 1 0 0 
(c) P =  0
 (d) P =  
0 0 1  0.9 0.02 0.04 0.04
1 0 0 0 0 0 0 1
13. Classifique os estados da Cadeia de Markov com matriz de transição

 
p q 0 0
0 0 p q

P= ,
p q 0 0
0 0 p q
onde p + q = 1 e p, q ≥ 0.
14. Seja {Xn : n ≥ 0} uma Cadeia de Markov com espaço de estados S ⊂ {0, 1, 2, · · · } e cuja matriz de transição P é tal que
∑
ypx,y = αx + β, x ∈ S,
x
para algumas constantes α e β.
a) Mostre que E(Xn+1 ) = α E(Xn ) + β.

b) Mostre que se α ̸= 1 então
[ ]
β n β
E(Xn ) = + α E(X0 ) − ·
1−α 1−α
15. Resposta Imunológica Um estudo de resposta imunológica em coelhos classificou os coelhos em quatro grupos de acordo com
a intensidade da resposta imune4 . De uma semana para a seguinte, os coelhos alteram a classificação de um grupo para o outro,
de acordo com a seguinte matriz de transição:
1 2 3 4
 
1 5/7 2/7 0 0
2 0 1/2 1/3 1/6 
P=  ·
3 0 0 1/2 1/2 
4 0 0 1/4 3/4
(a) Qual a proporção dos coelhos no grupo 1 que ainda estavam no grupo 1 cinco semanas mais tarde?
(b) Na primeira semana, havia nove coelhos do primeiro grupo, 4 no segundo e nenhum nos terceiro e quarto grupos. Quantos
coelhos seria de esperar em cada grupo após 4 semanas?
(c) Ao investigar a matriz de transição elevada a potências cada vez maiores, faça uma suposição razoável para a probabilidade
a longo tempo que um coelho no grupo 1 ou 2 ainda estar no grupo 1 ou 2 depois de um tempo arbitrariamente longo.
Explique por que esta resposta é razoável.
16. Criminologia Num estudo com homens criminosos em Filadélfia descobriram que a probabilidade de que um tipo de ataque
seja seguido por um outro tipo pode ser descrito pela seguinte matriz de transição5 .
Outro Injúria Roubo Dano Misto

 
Outro 0.645 0.099 0.152 0.033 0.071
Injúria 
 0.611 0.138 0.128 0.033 0.090 

P = Roubo   0.514 0.067 0.271 0.030 0.118 
·
Dano  0.609 0.107 0.178 0.064 0.042 
Misto 0.523 0.093 0.183 0.022 0.179
a) Para um criminoso que comete roubo, qual é a probabilidade de que o seu próximo crime também seja um roubo?
b) Para um criminoso que comete roubo, qual é a probabilidade de que seu segundo crime depois do atual também seja um
roubo?
c) Se essas tendências continuarem, quais são as probabilidades de longo prazo para cada tipo de crime?
17. Seja S = {0, 1, 2, · · · } o conjunto de estados de uma Cadeia de Markov com probabilidades de transição pi,i+1 = p e pi,0 = q,
onde 0 < p < 1 e q = 1 − p. Classifique os estados sa cadeia como transientes ou recorrentes.
4
McGilchrist, C.A., C.W. Aisbett, and S. Cooper. “A Markov Transition Model in the Analysis of the Immune Response”. Journal
of Theoretical Biology, Vol. 138, 1989, pp. 17-21.
5
Stander, Julian, et al. (1989). “Markov Chain Analysis and Specialization in Criminal Careers”. The British Journal of Crimino-
logy, Vol.29, No.4, pp.319-335.
1.3. DECOMPOSIÇÃO DO ESPAÇO DE ESTADOS 39
1.3 Decomposição do espaço de estados

Seja {Xn } uma Cadeia de Markov estacionária com espaço de estados S e sejam x, y ∈ S, estados da cadeia.
Definição 1.19
Dizemos que o estado x se comunica com y se ρx,y > 0.
(n)
Pode-se demonstrar que x se comunica com y se, e somente se, px,y > 0, para algum n ≥ 1. Também é possı́vel
mostrar que se x se comunica com y e y se comunica com z, então x se comunica com z. Isto implica que esta
propriedade dos estados é transitiva. Estas afirmações podem ser demonstradas por meio das relações (1.8) e (1.38).
Exemplo 1.23
No exemplo 1.8 temos que a potência 1000 da matriz de probabilidades de transição é da forma
Google^1000
1 2 3 4 5
1 2 3 4 5
1 0.1052632 0.1578947 0.2210526 0.2421053 0.2736842
2 0.1052632 0.1578947 0.2210526 0.2421053 0.2736842
3 0.1052632 0.1578947 0.2210526 0.2421053 0.2736842
4 0.1052632 0.1578947 0.2210526 0.2421053 0.2736842
5 0.1052632 0.1578947 0.2210526 0.2421053 0.2736842
Assim percebemos que nesta cadeia todos os estados se comunicam.
Teorema 1.15
Seja x um estado recorrente e suponha que x comunica a y. Então, y é recorrente e ρx,y = ρy,x = 1.
Demonstração : Consideremos y ̸= x, caso contrário não terı́amos nada a provar. Dado que
Px (Ty < ∞) = ρx,y > 0,
vemos que Px (Ty = n) > 0 para algum inteiro positivo n. Seja n0 o menor de tais inteiros positivos, isto é, seja
n0 = min[n ≥ 1 : Px (Ty = n) > 0]· (1.45)

(n )
Segue de (1.45) e (1.32) que px,y0 > 0 e
p(m)
x,y = 0, 1 ≤ m < n0 · (1.46)
(n )
Dado que px,y0 > 0, podemos encontrar estados y1 , · · · , yn0 −1 tais que
Px (X1 = y1 , · · · , Xn0 −1 = yn0 −1 , Xn0 = y) = px,y1 · · · pyn0 −1 ,y > 0·
Nenhum dos estados y1 , · · · , yn0 −1 iguais a x ou y. Se algum deles fosse igual x ou y, seria possı́vel ir de x para y
com probabilidade positiva em menos de n0 passos, em contradição com (1.46).
Vamos agora mostrar que ρy,x = 1. Suponha que, ao contrário disso, ρy,x < 1. Então, se a cadeia partir de y
tem probabilidade positiva 1 − ρy,x de nunca atingir x. Mais ao ponto, uma Cadeia de Markov partindo do estado
x tem a probabilidade positiva
px,y1 · · · pyn0 −1 ,y (1 − ρy,x )
de visitar os estados y1 , · · · , yn0 −1 , y sucessivamente nos primeiros n0 tempos e nunca retornar a x depois do tempo
n0 . Mas, se isso acontecer, a Cadeia de Markov nunca retornará a x a qualquer tempo n ≥ 1, portanto temos uma
contradição com a suposição de que x é um estado recorrente.
(n )
Dado que ρy,x = 1, existe um inteiro positivo n1 tal que py,x1 > 0. Agora
(n +n+n0 )
py,y1 = Py (Xn1 +n+n0 = y)
≥ Py (Xn1 = x, Xn1 +n = x, Xn1 +n+n0 = y)
(n1 ) (n) (n0 )
= py,x px,x px,y ·
Portanto,
∞
∑
Ey [N (y)] ≥ p(n)
y,y
n=n1 +1+n0
∑∞
= p(n 1 +n+n0 )
y,y
n=1
∑∞
≥ p(n 1 ) (n0 )
p
y,x x,y p(n)
x,x
n=1
= p(n 1 ) (n0 )
y,x px,y Ex [N (x)] = ∞,
do qual segue que y é também um estado recorrente.
Desde que y é recorrente e y se comunica com x, vemos da primeira parte da demonstração do teorema que
ρx,y = 1. Isto completa a prova do teorema.
Definição 1.20
Um conjunto C ⊂ S de estados é dito ser um conjunto fechado se não existirem estados dentro de C que se
comuniquem com qualquer estado fora de C.
Significa que se C é um conjunto fechado então
ρx,y = 0, x∈Cey∈
/ C· (1.47)
De maneira equivalente, C é um conjunto de estados fechado se, e somente se,
p(n)
x,y = 0, x ∈ C, y ∈
/ C e n ≥ 1· (1.48)
Mais ainda, da condição fraca que

px,y = 0, x∈Cey∈
/ C, (1.49)
podemos demonstrar que C seja um conjunto de estados fechado. Se a expressão em (1.49) se cumpre, então para
x∈C ey∈ / C temos que ∑
(2)
px,y = px,z pz,y
z∈ S
∑
= px,z pz,y = 0,
z∈C
e a condição (1.48) se cumpre por indução. Significa que se C for um conjunto de estados fechados então a Cadeia
de Markov, começando em C, estará em C o tempo todo com probabilidade um. Se a é um estado absorvente
então o conjunto {a} é fechado.
Definição 1.21
O conjunto C ∈ S é chamado de irredutı́vel se x se comunica com y, para todos os estados x e y em C.
Deduzimos, pelo teorema 1.15, que se C for um conjunto de estados irredutı́vel fechado; então um ou outro, ou
todo estado em C é recorrente ou todo estado em C é transiente.
Teorema 1.16
Seja C um conjunto irredutı́vel fechado de estados recorrentes. Então,
ρx,y = 1, Px [N (y) = ∞] = 1 e Ex [N (y)] = ∞, ∀x, y ∈ C·
Demonstração : Consequência imediata do Teorema 1.15.
Uma Cadeia de Markov irredutı́vel é uma cadeia cujo estado espaço é irredutı́vel, ou seja, uma cadeia em
que cada estado se comunica de volta consigo e também com todos os outros estados. Tal Cadeia de Markov é
necessariamente quer uma cadeia transiente ou uma cadeia recorrente. O Teorema 1.16 implica, em particular, que
uma Cadeia de Markov irredutı́vel recorrente visita todos seus estados infinitas vezes com probabilidade um.
Teorema 1.17
Seja C um conjunto finito e fechado de estados irredutı́veis. Então cada estado em C é recorrente.
Demonstração : Sabemos, pelo Teorema 1.13 que se S é finito contém pelo menos um estado recorrente. O mesmo
argumento mostra que qualquer conjunto finito de estados contém, ao menos, um estado recorrente. Seja agora C
finito irredutı́vel fechado. Sabemos que todo estado em C é transiente ou todo estado em C é recorrente e que C
tem, ao menos, um estado recorrente. Segue então que todo estado em C é recorrente.
Seja uma Cadeia de Markov com espaço de estados finito. O Teorema 1.17 nos disse que se a cadeia for
irredutı́vel ela deve ser recorrente. Se a cadeia não for irredutı́vel, podemos utilizar os Teoremas 1.15 e 1.17 para
identificar quais estados são recorrentes e quais são transientes.
Exemplo 1.24
Considere uma Cadeia de Markov com matriz de transição
0 1 2 3 4 5
 
0 1 0 0 0 0 0
 
1 14 1 1
0 0 0
 2 4 
2 0 1 2 1
0 1 
P= 
5 5 5
1 1
5 ·
1 
3 0 0 0 6 3 2 
 1 1 
4 0 0 0 2
0 2

1 3
5 0 0 0 4
0 4
Determinar quais estados são recorrentes e quais estados são transientes.

Como primeiro passo no estudo, vamos determinar por inspeção quais estados se comunicam com quais
outros. Isto pode ser realizado indicando a matriz da seguinte forma
0 1 2 3 4 5
 
0 + 0 0 0 0 0
1
+ + + + + +

2 + + + + + + 
P=  ·
3
 0 0 0 + + +

4 0 0 0 + + + 
5 0 0 0 + + +
O elemento (x, y) desta matriz é + ou 0 de acordo com ρx,y , se for positivo ou zero. Isto é, de acordo se x se
comunica ou não com y. Claro que, se px,y > 0 então ρx,y > 0.
O contrário não é verdade em geral. Por exemplo, p2,0 = 0 mas
(2) 1 1 1
p2,0 = p2,1 p1,0 = × == > 0,
5 4 20
portanto, ρ2,0 > 0.
O estado 0 é absorvente, logo recorrente. Vemos da matriz de + e zeros que {3, 4, 5} é um conjunto de
estados fechado irredutı́vel. Pelo Teorema 1.17 este resultado implica que os estados 3, 4 e 5 são recorrentes.
Os estados 1 e 2 se comunicam com o 0, mas nenhum deles pode ser alcançado desde o 0. Do Teorema 1.15,
por negação, temos que os estados 1 e 2 devem ser transientes. Resumindo, os estados 1 e 2 são transientes e
os estados 0, 3, 4 e 5 são recorrentes.
Uma outra forma de identificar quais estados são transientes e quais recorrentes é calculando uma potência
elevada da matriz de transição, por exemplo
0 1 2 3 4 5
 
0 1 0 0 0 0 0
1
 0.6 0 0 0.1 0.03 0.27 
2 0.2 0 0 0.2 0.07 0.53 
P 2000 = 
·
3 0 0 0 0.25 0.08 0.67 

4 0 0 0 0.25 0.08 0.67 
5 0 0 0 0.25 0.08 0.67
Identificamos que os estados 0, 3, 4 e 5 são recorrentes e, por negação do Teorema 1.15, vemos que se x for
recorrente e y transiente, então x não se comunica com y. Justamente é isso que observamos na matriz anterior
dos estados 1 e 2, por isso concluı́mos que estes estados são transientes.
Mais ainda, podemos auxiliarmos do pacote de funções markovchain. Neste pacote, a função transientStates
identifica quais estados são transientes, basta somente digitar:
estados = c("0","1","2","3","4","5")
Prob.T=matrix(c(1,0,0,0,0,0,1/4,1/2,1/4,0,0,0,0,1/5,2/5,1/5,0,1/5,
0,0,0,1/6,1/3,1/2,0,0,0,1/2,0,1/2,0,0,0,1/4,0,3/4),

name="Exemplo 2.23")
transientStates(ProbT)
oferecendo como resposta

[1] "1" "2"
Também, utilizando a função steadyStates, no mesmo pacote, podemos identificar os estados recorrestes
digitando:
steadyStates(ProbT)
0 1 2 3 4 5
[1,] 0.2303939 4.092618e-16 2.756485e-16 0.1924015 0.06413384 0.5130707
[2,] 1.0000000 0.000000e+00 0.000000e+00 0.0000000 0.00000000 0.0000000
Na primeira linha, onde aparecer um valor zero ou próximo de zero significa que o estado correspondente não é
recorrente. Ou seja, identificamos que os estados 0, 3, 4 e 5 são recorrentes.
Seja S o espaço de estados de uma Cadeia de Markov. Denotaremos por ST o conjuntos dos estados transientes
em S e por SR o conjunto dos estados recorrentes em S. No Exemplo 1.24,
ST = {1, 2} e SR = {0, 3, 4, 5}·
Ainda o conjunto SR pode ser decomposto nos conjuntos fechados disjuntos e irredutı́veis de estados C1 = {0} e
C2 = {3, 4, 5}. O teorema a seguir mostra que esta decomposição sempre é possı́vel qualquer seja SR não vazio.
Teorema 1.18
Suponha que o conjunto SR de estados recorrentes em S seja não vazio. Então, SR é a união finita ou
enumerável de conjuntos fechados disjuntos e irredutı́veis C1 , C2 , · · · .
Demonstração : Escolhemos x ∈ SR e seja C o conjunto de todos os estados y ∈ SR tais que x comunica y. Devido
a x ser recorrente ρxx = 1 e, portanto, x ∈ C. Verifiquemos agora se C é um conjunto fechado e irredutı́vel.
Suponhamos que y pertence a C que y se comunica com z. Devido a y ser recorrente, segue pelo Teorema 1.15 que
z é recorrente. Logo, z ∈ C. Isto mostra que C é fechado. Suponhamos agora que y e z estejam ambos em C. Foi
nossa escolha que x fosse recorrente e que se comunica com y, segue do Teorema 1.15 que y se comunica com x.
Dado que y se comunica com x e x se comunica com z, concluı́mos que y se comunica com z. Isto mostra que C é
irredutı́vel.
Para concluir a demonstração devemos provar que se C e D forem dois subconjuntos fechados irredutı́veis de
SR então ou são disjuntos ou são idênticos. Suponhamos que não sejam disjuntos e que exista um estado x que
pertença a ambos, x ∈ C e x ∈ D. Escolhemos um y ∈ C. Sabemos que x se comunica com y, devido a x pertencer
a C e C ser um conjunto irredutı́vel. Dado que D é fechado, x que está em D e se comunica com y, implica que y
está também em D. Logo, todo estado em C está também em D. Similarmente, todo estado em D está também
em C logo, C e D são idênticos.
Podemos usar nossa decomposição do espaço de estados de uma Cadeia de Markov para entender o compor-
tamento de um sistema deste tipo. Se a Cadeia de Markov começa em um dos conjuntos de estados recorrentes
fechados irredutı́veis Ci , ela permanece em Ci para sempre e, com probabilidade um, visita todos os estados Ci
infinitas vezes. Se a Cadeia de Markov começa no conjunto de estados transientes ST , ou ela permanece em ST
para sempre ou, em algum momento, entra num dos conjuntos Ci e permanece lá a partir desse momento, mais
uma vez visitando todos os estados em Ci infinitas vezes.
1.3.1 Probabilidade de absorção

Queremos saber qual a probabilidade de uma cadeia, começando em qualquer estado x, chegar a um destes conjuntos
fechados irredutı́veis de estados recorrentes?
Sabemos, pela Definição 1.12, que se C for um conjunto fechado de estados irredutı́veis recorrentes então
ρC = Px (TC < ∞) (1.50)
é a probabilidade de que uma Cadeia de Markov a partir de x, eventualmente, visite o conjunto C.

Desde que a cadeia continua permanentemente em C, uma vez que atinge este conjunto, chamamos de ρC a
probabilidade que uma cadeia a partir de x seja absorvida pelo conjunto C. Logico que ρC = 1, x ∈ C e ρC = 0 se
x for um estado recorrente que não esteja em C. Ele não é tão claro como calcular ρC para x ∈ ST , o conjunto de
estados transientes.
Se houver apenas um número finito de estados transientes e, em particular, se S em si é finito é sempre possı́vel
calcular ρC (x), x ∈ ST resolvendo um sistema de equações lineares em que há tantas equações como incógnitas, ou
seja, os membros de ST .
Para entender por que este é o caso, observemos que, se a cadeia partir de x, pode entrar em C apenas entrando
em C no tempo 1 ou ∑por estar em ST no tempo 1 e entrando em C∑em algum momento futuro. O primeiro evento
tem probabilidade y∈C px,y e o último evento tem probabilidade y∈ ST px,y ρC (y). Assim
∑ ∑
ρC (x) = px,y + px,y ρC (y), x ∈ ST · (1.51)
y∈C y∈ ST
A equação (1.51) se cumpre sempre que ST seja finito ou infinito, mas está longe de ser claro como a resolver
para as incógnitas ρC (x), x ∈ ST quando ST é infinito. Uma dificuldade adicional ao fato de ST ser infinto acontece
quando (1.51) não necessariamente tem solução única. Afortunadamente esta dificuldade não acontece quando ST
é finito.
Teorema 1.19
Suponhamos que o conjunto dos estados transientes ST seja finito e que C seja o conjunto fechado irredutı́vel
dos estados recorrentes da cadeia. Então, o sistema de equações
∑ ∑
f (x) = px,y + px,y f (y), x ∈ ST , (1.52)
y∈C y∈ ST
tem por solução única

f (x) = ρC (x), x ∈ ST · (1.53)
Demonstração : Se a expressão (1.52) for válida, então

∑ ∑
f (y) = py,z + py,z f (z), y ∈ ST ·
z∈C z∈ ST
Substituindo-a em (1.52) temos que

∑ ∑ ∑
f (x) = px,y + px,y py,z
y∈C ST z∈C
∑y∈∑
+ px,y py,z f (z)·
y∈ ST z∈ ST
∑ (2)
A soma dos primeiros dois termos é justamente Px (TC ≤ 2) e o terceiro termo se reduz a z∈ ST px,z f (z), o qual é
∑ (2)
o mesmo do que y∈ ST px,y f (y). Então
∑
f (y) = Px (TC ≤ 2) + p(2)
x,y f (y)·
y∈ ST
Repetindo este argumento infinitas vezes ou utilizando a indução matemática, concluı́mos que para todos os inteiros
positivos n se satisfaz que ∑
f (y) = Px (TC ≤ n) + p(n)
x,y f (y), x ∈ ST · (1.54)
y∈ ST
Dado que cada y ∈ ST é transiente, segue de (1.44) que
lim p(n) = 0, x∈ S e y ∈ ST · (1.55)

n→∞ x,y
De acordo com as suposições do teorema, ST é um conjunto finito. Resulta, portanto, que do resultado em (1.55)
a soma em (1.54) se aproxima de zero quando n → ∞. Por consequência, para x ∈ ST
f (x) = lim Px (TC ≤ n) = Px (TC < ∞) = ρC (x),

n→∞
como desejado.

Encontremos
ρ1,0 = ρ{0} (1) e ρ2,0 = ρ{0} (2)·
Da expressão (1.51) e da matriz de transição no Exemplo 1.24, temos que ρ1,0 e ρ2,0 são determinados pelas
equações
1 1 1
ρ1,0 = + ρ1,0 + ρ2,0
4 2 4
e
1 2
ρ2,0 = ρ1,0 + ρ2,0 ·
5 5
Resolvendo este sistema encontramos que ρ1,0 = 5 e ρ2,0 = 5 . De maneira similar encontramos que ρ{3,4,5} (1) = 25
3 1
e ρ{3,4,5} (2) = 45 .
Alternativamente, podemos encontrar as probabilidades no exemplo pela subtração de ρ{0} (1) e ρ{0} (2) de 1,
devido a que existe somente um número finito de estados transientes. Isto é possı́vel segundo o teorema a seguir.
Teorema 1.20
Seja ST finito, isto é, o número de estados transientes na Cadeia de Markov é finito. Então,
∞
∑
ρCi (x) = 1, x ∈ ST , (1.56)
i=1
onde C1 , C2 , · · · é a coleção, finita ou infinita enumerável, de conjuntos disjuntos fechados e irredutı́veis de

estados recorrentes da cadeia.
Demonstração : Para verificar (1.56) notemos que para x ∈ ST

∞
∑ ∞
∑
ρCi (x) = Px (TCi < ∞) = Px (T SR < ∞)·
i=1 i=1
Dado que existe somente um número finito de estados transientes e cada estado transiente é visitado somente um
número finito de vezes, a probabilidade Px (T SR < ∞) de que um estado recorrente acabará por ser atingido é 1,
portanto (1.56) se verifica.
Uma vez que a Cadeia de Markov, começando no estado transiente x entra em um conjunto fechado irredutı́vel
C de estados recorrentes, ela visita então todos os estados em C. Assim
ρx,y = ρC (x), x ∈ ST e y ∈ C· (1.57)


Da expressão (1.57), na demonstração do Teorema 1.20, temos que em nosso prévio exemplo
2 4
ρ1,3 = ρ1,4 = ρ1,5 = ρ{3,4,5} (1) = e ρ2,3 = ρ2,4 = ρ2,5 = ρ{3,4,5} (2) = ·
5 5
O tema das Cadeias de Markov é melhor estudado considerando-se tipos especiais: o primeiro tipo que vamos
estudar são as chamadas Cadeias de Markov absorventes, depois estudaremos as Cadeias de Markov regulares e as
ergódicas.
1.3.2 Cadeias de Markov absorventes

Ao fazer a decomposição do espaço de estado podemos identificar tipos especiais de Cadeias de Markov. O primeiro
tipo especial que vamos estudar é a chamada Cadeia de Markov absorvente.
Definição 1.22
Uma Cadeia de Markov é absorvente se tiver pelo menos um estado absorvente e se, a partir de cada estado, é
possı́vel ir para um estado absorvente.
Em uma Cadeia de Markov absorvente, um estado que não é absorvente é transiente. Devemos esclarecer que
nestas cadeias é possı́vel atingir um estado absorvente não necessariamente em uma única etapa.
Figura 1.6: Grafo das probabilidades de transição na caminhada do bêbado.
Exemplo 1.27 (A caminhada do bêbado)

Um homem caminha ao longo de um trecho de quatro quarteirões segundo o grafo na Figura 1.6. Se ele está no
nodo 1, 2 ou 3, então ele caminha para a esquerda ou para a direita com a mesma probabilidade. Ele continua
até que ele chegar ao nodo 4, que é um bar, ou ao nodo 0, que é a sua casa. Se ele atinge ou sua casa ou o
bar, ele permanece lá. Podemos então construir uma Cadeia de Markov com estados em S = {0, 1, 2, 3, 4}.
Observamos que os estados 0 e 4 são absorventes. A matriz de transição é então
0 1 2 3 4
 
0 1 0 0 0 0
1 1/2 0 1/2 0 0 
P = 2 0 1/2 0 1/2 0 ·

3  0 0 1/2 0 1/2 
4 0 0 0 0 1
Os estados 1, 2, e 3 são transientes e a partir de qualquer um destes, é possı́vel alcançar os estados absorventes
0 e 4. Assim, a cadeia é uma Cadeia de Markov absorvente. Quando um processo chega a um estado absorvente,
diremos que ele é absorvido.
A pergunta mais óbvia que pode ser feita sobre a cadeia é: Qual é a probabilidade de que o processo vai
eventualmente atingir um estado absorvente? Outras questões interessantes incluem: (a) Qual é a probabilidade
de que o processo vai acabar em um determinado estado absorvente? (b) Em média, quanto tempo será necessário
para que o processo seja absorvido? (c) Em média, quantas vezes o processo estará, em cada estado transiente? As
respostas a todas estas questões dependem, em geral, no estado a partir do qual o processo é iniciado, bem como
as probabilidades de transição.
Exemplo 1.28 (Gestão de cálculos biliares)
Os médicos que diagnosticam cálculos biliares assintomáticos são confrontados com a decisão: remover imedi-
atamente a vesı́cula biliar para evitar possı́veis complicações com risco de vida ou adiar a cirurgia até que as
complicações ocorram. Qual é a tendência de longo prazo de cada estratégia?
Na ausência de um estudo clı́nico, a análise da Cadeia de Markov que descreve o comportamento desta
situação é muitas vezes a única forma eficaz de avaliar os riscos e benefı́cios das várias estratégias de tratamento
médico. Cadeias de Markov podem ser usadas para modelar o cenário acima6 . Suponha que, na muito sim-
plificada a estratégia de adiar a cirurgia, o paciente vai continuar a ter cálculos biliares assintomáticos (estado
A) num perı́odo de 4 meses para o próximo com probabilidade 0,95. Uma das duas principais complicações
(estado C), colecistite ou complicações biliares, podem surgir necessitando de cirurgia, com probabilidade de
0,04. Por causa da idade especı́fica do paciente, ele terá probabilidade 0,01 de morte natural (estado D). Se a
doença evoluir e se tornar sintomática, em seguida será realizada a cirurgia, com um risco de morte de 0,005
devido a complicações devido a esta. Uma vez bem sucedida a cirurgia realizada, o paciente entra em estado
de recuperação (estado R). Noventa por cento dos pacientes passam para o estado bom (W), enquanto 9%
permanecem no estado de recuperação de cada ano e 1% morrem de causas naturais. Uma vez que um paciente
entra no estado bom, ele continua lá até a morte, com probabilidade de 0,99. A matriz a seguir é a matriz de
transição de probabilidades para a estratégia de adiar a cirurgia até que ocorram complicações.
A C R W D
 
A 0.95 0.04 0 0 0.01
C 0 0 0.995 0 0.005 

P= R 0 0 0.09 0.90 0.01 ·

W  0 0 0 0.99 0.01 
D 0 0 0 0 1
Observemos que o estado D é absorvente. Uma vez que o paciente chega a este estado é impossı́vel sair.
Para entendermos as consequências da estratégia a longo prazo vamos encontrar várias potências da matriz de
transição. Assim
A C R W D
 
A 0.66 0.03 0.03 0.20 0.08
C  0 0 0 0.93 0.07 
P8 = R   0 0 0 0.92 0.08 

W 0 0 0 0.92 0.08 
D 0 0 0 0 1
e
A C R W D
 
A 0.19 0.01 0.01 0.51 0.27
C  0 0 0 0.73 0.27 
32
P = R 0  0.72 0.28 
0 0 ·
W  0 0 0 0.72 0.28 
D 0 0 0 0 1
Como este resultado sugere, quando P é elevada a potências mais e mais elevadas, o sistema tenderá para o
estado absorvente de modo que com probabilidade 1 os pacientes acabarão por morrer.
Este exemplo (Exemplo 1.28) sugere as seguintes propriedades de Cadeias de Markov absorventes:
1- Independentemente do estado original de uma Cadeia de Markov absorvente, em um número finito de etapas
da cadeia vai entrar em um estado absorvente e, em seguida, ficar nesse estado.
2- Os potências da matriz de transição chegam mais e cada vez mais perto de alguma matriz especial.
3- A tendência de longo prazo depende do estado inicial, a alteração do estado inicial pode alterar o resultado
final.
A terceira propriedade distingue as cadeias absorventes das cadeias regulares (ver Definição 1.25), onde o
resultado final é independente do estado inicial. Esta propriedade não é ilustrada no Exemplo 1.28 uma vez
que existe apenas um estado absorvente. Em situações onde existam mais do que um estados absorventes esta
propriedade é aparente.
Forma canônica
Considere uma Cadeia de Markov arbitrária absorvente. Vamos numerar os estados de modo que os estados
transientes venham em primeiro lugar. Se houver r estados absorventes e t estados transientes, a matriz de
probabilidades de transição terá a seguinte forma canônica
T ransiente Absorvente
( )
T ransiente Q R
P= , (1.58)
Absorvente 0 I
sendo I uma matriz identidade de ordem r × r, 0 é uma matriz r × t de zeros, R é uma matriz t × r diferente de
zero e Q é uma matriz t × t. Escrita a cadeia desta forma temos que os primeiros t estados são transientes e os
últimos r estados serão absorventes.
(n)
Sabemos que px,y é a probabilidade do processo estar no estado y após n passos, quando iniciou-se no estado x.
Um procedimento de álgebra matricial mostra que P n é da forma
T ransiente Absorvente
( )
T ransiente Qn R∗
Pn = ,
Absorvente 0 I
onde R∗ representa a matriz t × r, no canto superior do lado direito de P n . Esta submatriz pode ser escrita em
termos de Q e R, mas a expressão é complicada e não é necessária neste momento. A forma de P n mostra que
as componentes de Qn fornecem as probabilidades de passar de um estado transiente inicial a um outro estado
transiente após n passos.
Teorema 1.21 (Probabilidade de Absorção)

Numa Cadeia de Markov absorvente, a probabilidade de que o processo vai ser absorvido é 1, isto é,
lim Qn = 0· (1.59)
n→∞
Demonstração : Dado que a cadeia é absorvente, de cada estado x transiente é possı́vel chegar a um estado absorvente.
Seja mx o número mı́nimo de passos necessários para atingir um estado absorvente, a partir de x. Seja px a
probabilidade de que, a partir de x, o processo não atingirá um estado absorvente em mx passos. Então px < 1.
Seja m o maior dos mx e seja p o maior dos px . A probabilidade de não serem absorvidos em m passos é inferior ou
igual a p, em 2n passos é menor ou igual a p2 , etc. Uma vez que p < 1 estas probabilidades tendem a 0. Dado que a
probabilidade de não serem absorvidos em n passos é monótona decrescente, estas probabilidades também tendem
a 0 e, então, limn→∞ Qn = 0.
Exemplo 1.29 (Continuação do exemplo 1.28)

Utilizando os comandos R a seguir podemos identificar a forma canônica numa cadeia absorvente.
estados = c("A","C","R","W","D")
Prob.T=matrix(c(0.95,0.04,0,0,0.01,0,0,0.995,0,0.005,
0,0,0.09,0.90,0.01,0,0,0,0.99,0.01,0,0,0,0,1),
ProbT = new("markovchain", states=estados, transitionMatrix=Prob.T, name="Gest~

ao de cálculos biliares")
canonicForm(ProbT)
sendo a resposta
Gest~
ao de cálculos biliares
D A C R W
D A C R W
D 1.000 0.00 0.00 0.000 0.00
A 0.010 0.95 0.04 0.000 0.00
C 0.005 0.00 0.00 0.995 0.00
R 0.010 0.00 0.00 0.090 0.90
W 0.010 0.00 0.00 0.000 0.99
Identificamos então que a matriz de transição entre estados transientes é
A C R W
 
A 0.95 0.04 0.000 0.00
C 0.00 0.00 0.995 0.00 
·
Q=
R  0.00 0.00 0.090 0.90 
W 0.00 0.00 0.000 0.99
Também, elevando a uma potência elevada a forma canônica, podemos verificar a afirmação do Teorema
1.21.
canonicForm(ProbT)^800
Gest~
ao de cálculos biliares^800
D A C R W
D A C R W
D 1.0000000 0.000000e+00 0.000000e+00 0.000000e+00 0.0000000000
A 0.9996762 1.509678e-18 6.356538e-20 7.354366e-20 0.0003238497
C 0.9996762 0.000000e+00 0.000000e+00 0.000000e+00 0.0003238497
R 0.9996778 0.000000e+00 0.000000e+00 0.000000e+00 0.0003222224
W 0.9996778 0.000000e+00 0.000000e+00 0.000000e+00 0.0003222224
Matriz fundamental
Anteriormente foi obtido que a probabilidade de permanecer em estados transientes numa cadeia absorvente con-
verge a zero, mas a pergunta agora é: Qual seria a probabilidade de permanecer em estados transientes, em tais
cadeias, em n passos finitos? o seguinte teorema fornece essa resposta.
Teorema 1.22
Para uma Cadeia de Markov absorvente a matriz I − Q tem como inversa
( I − Q)−1 = I + Q + Q2 + · · · · (1.60)
O elemento (x, y) da matriz ( I − Q)−1 fornece o número esperado de vezes que a cadeia está no estado y, uma
vez que começa no estado x. O estado inicial é contado se x = y.
Demonstração : Seja ( I−Q)x = 0, isto é, x = Qx. Então, repetindo n vezes, vemos que x = Qn x. Desde limn→∞ Qn =
0, temos limn→∞ Qn x = 0, então x = 0. Assim, a matriz ( I − Q)−1 existe. Observemos que
( I − Q)( I + Q + Q2 + · · · + Qn ) = I − Qn+1 ·
Então, multiplicando ambos os lados por ( I − Q)−1 temos
I + Q + Q2 + · · · + Qn = ( I − Q)−1 ( I − Qn+1 )·
Fazendo n tender ao infinito temos

( I − Q)−1 = I + Q + Q2 + · · · ·
Sejam x e y dois estados transientes fixos. Definamos 1y (k) uma variável aleatória indicadora igual a 1 se a cadeia
está no estado y após k passos e 0 caso contrário. Para cada k, esta variável aleatória depende tanto de x quanto
de y. Temos então que
k
P [1y (k) = 1] = qx,y
e
k
P [1y (k) = 0] = 1 − qx,y ,
k é o (x, y)-ésimo elemento da matriz Qk . Estas equações valem também para k = 0, desde que Q0 = I.
onde qx,y
k .
Portanto, dado que 1y (k) assume somente os valores 0 ou 1, E{1y (k)} = qx,y
O número esperado de vezes que a cadeia está no estado y, nos primeiros n passos, uma vez que se inicia no
estado x, é claramente
0 1 n
E[1y (0) + 1y (1) + · · · + 1y (n)] = qx,y + qx,y + · · · + qx,y ·
Fazendo então n tender ao infinito obtemos
0
E[1y (0) + 1y (1) + · · · ] = qx,y 1
+ qx,y + · · · = ( I − Q)−1
x,y ·
Definição 1.23 (Matriz fundamental )

Para uma Cadeia de Markov absorvente, a matriz I − Q é chamada de matriz fundamental. Os elementos de
( I − Q)−1
x,y fornecem o número esperado de vezes que o processo está no estado transiente y se for iniciado o
processo no estado transiente x.
Exemplo 1.30 (Continuação do exemplo 1.27)

No exemplo do andar do bêbado, a matriz de transição na forma canônica é
1 2 3 0 4
1 0 1/2 0 1/2 0 
2 1/2 0 1/2 0 0 
P = 3 0 1/2 0 0

1/2
 
0 0 0 0 1 0
4 0 0 0 0 1
da qual vemos que a matriz Q é  

0 1/2 0
Q = 1/2 0 1/2 ,
0 1/2 0
e que  
1 −1/2 0
I − Q = −1/2 1 −1/2 ·
0 −1/2 1
Calculando ( I − Q)−1 , obtemos
1 2 3
 
1 3/2 1 1/2
( I − Q)−1 = 2 1 2 1 ·
3 1/2 1 3/2
A partir da linha do meio de ( I − Q)−1 vemos que, se a cadeia inicia-se no estado 2, o número esperado de
visitas aos estados 1, 2 e 3 antes de ser absorvido é 1, 2 e 1, respectivamente.
1.3.3 Cadeias de Markov ergódicas

Vamos agora generalizar os resultados obtidos na última seção. Lá eles foram provadas para as cadeias regulares e
agora vamos estende-los a uma cadeia arbitrária que consiste em um conjunto único ergódico, ou seja, a uma cadeia
ergódica. Sabemos que essa cadeia deve ser regular ou cı́clica. Uma cadeia cı́clico consiste de aulas d cı́clicos, e
uma corrente regular pode ser pensado como o caso especial em que d = 1. Os resultados a serem obtidos será
generalizações dos resultados anteriores no sentido de que se defina d = 1 neles , obtemos um resultado do capı́tulo
anterior. Por uma questão de fato, na maior parte dos resultados d não vai, aparece explicitamente, para que o
resultado of the capı́tulo anterior será mostrado para conter para todas as cadeias ergódicas.
Uma cadeia ergodic é caracterizada pelo facto de que consiste de uma única classe ergodic, isto é, é possı́vel ir
de cada estado de todos os outros estados. No entanto, se d¿ 1, então tal transição é possı́vel apenas para valores
de n especiais. Assim, nenhum poder da P é positiva, e diferentes poderes terá zeros em posições diferentes, esses
zeros mudar ciclicamente para os poderes. Assim pn não pode convergir. Esta é a diferença mais importante entre
as cadeias cı́clicas e regulares.
Mas, enquanto os poderes falhar a convergir, temos o seguinte mais fraca resultado. Um segundo tipo importante
da Cadeia de Markov que vamos estudar em detalhe são as chamadas cadeias ergódicas ou irredutı́veis. Esta é uma
situação na qual não existem estados transientes.
Definição 1.24
Uma Cadeia de Markov é chamada uma cadeia ergódica ou irredutı́vel se é possı́vel ir de cada estado para cada
estado.
Uma cadeia de Markov é chamada de uma cadeia ergódica se for possı́vel passar de cada estado para cada estado
(não necessariamente em um movimento).
Devemos esclarecer que numa cadeia ergódica podemos ir de cada estado para cada estado não necessariamente
em um movimento. Podemos dizer também que um processo markoviano é dito ergódico se seus estados são
recorrentes e aperiódicos. Significa que todas as suas propriedades podem ser aferidas a partir de apenas um
conjunto de amostras.
Teorema 1.23
Seja {Xn }n≥1 uma Cadeia de Markov com d estados. Então,
1.3.4 Cadeias de Markov regulares

Esta é mais uma situação de cadeias na qual não exitem estados transientes.
Definição 1.25
Uma Cadeia de Markov é chamada uma cadeia regular, se alguma potencia da matriz de transição tem apenas
elementos positivos.
Em outras palavras, numa cadeia regular, para algum n é possı́vel ir de qualquer estado para qualquer estado
em exatamente n passos. É claro a partir desta definição que cada cadeia regular é ergódica. Por outro lado, uma
cadeia ergódica não é necessariamente regular, como mostram os seguintes exemplos.
Exemplo 1.31
Considere uma Cadeia de Markov com matriz de transição definida por
0 1
( )
0 0 1
P= ·
1 1 0
Então, é claro que é possı́vel mover-se a partir de qualquer estado para qualquer estado, de modo que a
cadeia é ergódica. No entanto, se n for ı́mpar, não é possı́vel passar do estado 0 ao estado 0 em n passos e, se n
é par, não é possı́vel passar do estado 0 ao estado 1 em n passos, pelo que a cadeia não é regular. Por exemplo
( ) ( )
100 1 0 101 0 1
P = e P = ·
0 1 1 0
Um exemplo mais interessante do que este de Cadeia de Markov não regular ergodica é fornecido pelo modelo
Ehrenfest.
Exemplo 1.32
Lembre-se que no modelo de urna Ehrenfest (Exemplo 1.7), a matriz de transição para este exemplo é
0 1 2 3 4
 
0 0 1 0 0 0
 
1 14 0 3
0 0
 4 
P = 2
0
1
2
0 1
2
0·
3
0 0 3
4
0 1
4
4 0 0 0 1 0
Nesta situação, se iniciarmos no estado 0 iremos, depois de qualquer número par de passos, estarmos nos
estados 0, 2 ou 4 e depois de qualquer número ı́mpar de etapas estaremos nos estados 1 ou 3. Assim, esta cadeia
é ergódica, mas não regular. Isto pode ser observado nas potências 100 e 101 da matriz de transição, as quais
assumem os valores
0 1 2 3 4 0 1 2 3 4
   
1 6 1 1 1
0 8
0 8
0 8
0 0 2
0 2
0
 1 1   
1 0 0 0 1 18 0 6
0 1

1 2 2   8 8 
P 100 = 28 0 6
8
0 1
8
, P 101 = 2
0
1
2
0 1
2
0·
30
1
2
0 1
2

0 3
8
1
0 6
8
0 1
8
4 18 0 6
8
0 1
8
4 0 1
2
0 1
2
0
Qualquer matriz de transição que não tem zeros determina uma cadeia de Markov regular. No entanto, é
possı́vel que uma Cadeia de Markov regular tenha zeros na matriz de transição. Vejamos o seguinte exemplo.
Exemplo 1.33 (Terra de Oz )
De acordo com Kemeny, Snell, e Thompson7 , a Terra de Oz é um excelente lugar para morar por muitas
coisas, mas não por um bom tempo. Eles nunca tem dois dias agradáveis seguidos. Se eles têm um bom dia
(B), eles são tão propensos a ter neve (N) quanto chuva (C) no dia seguinte. Se tiverem neve ou chuva, tem
possibilidade meio de ter o mesmo no dia seguinte. Se não houver mudança de neve ou chuva, tem apenas
metade de probabilidade de uma mudança para um bom dia. Com esta informação, formamos a matriz de
transição da Cadeia de Markov como segue.
C B N
 
1 1 1
C 2 4 4
 1 1 
P = B 2
0 2 ·
1 1 1
N 4 4 2
Podemos observar que esta matriz de transição tem pB,B = 0, mas P 2 não tem zeros, então esta é uma cadeia
de Markov regular.
Exemplos de Cadeia de Markov não regulares são as cadeias absorventes. Por exemplo, seja
( )
1 0
P= 1 1
2 2
a matriz de transição de uma Cadeia de Markov. Todas as potências P terão um 0 no canto superior direito.
Vamos agora discutir dois teoremas importantes relacionados às cadeias regulares.
Primeiro demonstremos um teorema auxiliar.
Teorema 1.24
Seja P uma matriz de transição de ordem r com elementos positivos. Seja ϵ o menor valor de P. Seja x
qualquer vetor coluna de dimensão r, sendo M0 o máximo e m0 o mı́nimo de suas componentes. Sejam agora
M1 e m1 o valores máximo e mı́nimo respectivos das componentes do vetor Px. Então M1 ≤ M0 , m1 ≥ m0 e
M1 − m1 ≤ (1 − 2ϵ)(M0 − m0 )·
Demonstração : Seja x′ o vetor obtido de x substituindo uma das componentes m0 por M0 . Então x ≤ x′ . Cada
componente de Px′ é da forma
a · m0 + (1 − a) · M0 = M0 − a(M0 − m0 ),
onde a ≥ ϵ. Assim, cada componente de Px′ é menor ou igual do que
M0 − ϵ(M0 − m0 )·
Dado que x ≤ x′ , temos que

M1 ≤ M0 − ϵ(M0 − m0 )· (1.61)
Aplicando este resultado ao vetor −x obtemos que
−m1 ≤ −m0 − ϵ(−m0 + M0 )· (1.62)
Somando os resultados em (1.61) e (1.62) temos que
M1 − m1 ≤ M0 − m0 − 2ϵ(M0 − m0 )
= (1 − 2ϵ)(M0 − m0 )·
Devemos observar que ϵ, o menor valor de P, é sempre menor ou igual a 1/2. Este teorema nos fornece uma
forma mais simples da demonstração do seguinte teorema fundamental para cadeias de Markov regulares.
Teorema 1.25 (Teorema fundamental )

Seja P a matriz de transição de uma Cadeia de Markov regular. Então,
lim P n = W, (1.63)
n→∞
onde W é uma matriz com todas as linhas iguais ao mesmo vetor w. O vector w é um vector de probabilidades
estritamente positivo, isto é, as componentes são todas positivas e somam um.
Demonstração : Primeiro vamos assumir que a matriz P não tem zeros. Seja ϵ o menor valor em P. Seja agora ρj um
vetor coluna com 1 na j-ésima componente e zeros nas outras. Sejam Mn e mn os valores máximos e mı́nimos dos
vetores P n ρj . Dado que P n ρj = P ·P n−1 ρj , temos do Teorema 1.24 que M1 ≥ M2 ≥ M3 ≥ · · · , m1 ≤ m2 ≤ m3 ≤ · · ·
e
Mn − mn ≤ (1 − 2ϵ)(Mn−1 − mn−1 ),
para n ≥ 1. Fazendo dn = Mn − mn este resultado nos disse que
dn ≤ (1 − 2ϵ)n d0 ·
Logo limn→∞ dn = 0 e então, Mn e mn tem limite comum. Portanto, P n ρj tende a um vetor com todas as
componentes iguais. Seja αj este valor comum. Logicamente, para todo n, mn ≤ αj ≤ Mn . Em particular, dado
que 0 < m1 e M1 < 1, temos que 0 < αj < 1. Agora P n ρj é a j-ésima coluna de P n . Então, a j-ésima coluna
de P n tende a um vetor com todas as componentes iguais a wj . Isto é, P n tende a uma matriz W com todas as
linhas iguais ao vetor w = (w1 , w2 , · · · , wr ). Dado que as somas das linhas de P n são sempre 1, o mesmo vale para
o limite. Isto completa a demonstração no caso da matriz assumir somente valores positivos.
Considerar agora o caso seguinte em que P somente é assumida ser regular. Seja N , tal que P N tenha somente
valores positivos e aplicamos a primeira parte da demonstração à matriz P N .
Queremos mostrar que a potência P n de uma matriz de transição regular, isto é, que a matriz de probabilidades
de transição de uma cadeia regular tende a uma matriz com todas as linhas da mesma forma. Significa o mesmo
de mostrar que P n converge a uma matriz com colunas constantes. Agora, a j-ésima coluna P n é P n ρj onde ρj é
um vetor coluna com 1 na j-ésima linha e 0 nas outras. Assim, precisamos apenas mostrar que para qualquer vetor
coluna ρ, P n ρ se aproxima de um vetor constante, quando n tende ao infinito.
Uma vez que cada linha de P é um vector de probabilidades, Pρ substitui ρ pelas médias dos seus componentes.
Aqui está um exemplo:
      
1/2 1/4 1/4 1 1/2 · 1 + 1/4 · 2 + 1/4 · 3 7/4
1/3 1/3 1/3 2 = 1/3 · 1 + 1/3 · 2 + 1/3 · 3 =  2 
1/3 1/2 1/6 3 1/3 · 1 + 1/2 · 2 + 1/6 · 3 11/6
O resultado do processo de cálculo da média faz as componentes de Pρ mais semelhantes do que as de ρ. Em

particular, os máximos decrescem de 3 para 2 e os mı́nimos aumentos de 1 a 11/6. Na prova mostramos que, como
nós fazemos mais e mais desta média para obter P n ρ, a diferença entre o máximo e mı́nimo tende a 0 quando
(n)
n → ∞. Isto significa que P n ρ tende a um vector constante. O elemento (i, j) de P n , pi,j é a probabilidade de
que o processo esteja no estado j após n passos se inicia-se no estado i. Se denotamos a linha comum de W por w,
então o Teorema 1.25 afirma que, a probabilidade da cadeia estar no estado j a longo prazo é de aproximadamente
wj , a j-ésima componente de w e é independente do estado inicial.
Exemplo 1.34
Lembre-se do exemplo da Terra de Oz (Exemplo 1.33), a potência sexta da matriz de transição P é, com três
casas decimais,
C B N
 
C 0.4 0.2 0.4
 
P 6 = B  0.4 0.2 0.4 ·
N 0.4 0.2 0.4
Assim, para este grau de precisão, a probabilidade de chuva seis dias depois de um dia de chuva é a mesma
que a probabilidade de chuva seis dias depois de um dia agradável ou seis dias depois de um dia de neve. O
Teorema 1.25 prevê que, para grandes valores de n, as linhas de P n vão se aproximar de um vetor comum. É
interessante que isso ocorra tão cedo neste exemplo.
Teorema 1.26
Seja P a matriz de transição de uma Cadeia de Markov regular, seja
W = lim P n ,
n→∞
com componentes comuns w e seja x um vetor coluna com todas as componentes iguais a 1. Então
a) wP = w e qualquer vetor linha v tal que vP = v, é múltiplo de w.

b) Pc = c e qualquer vetor coluna x tal que Px = x, é múltiplo de c.
Demonstração : content... quem é c neste Teorema?
Note-se que uma consequência imediata deste teorema é o fato de que existe apenas um único vetor de proba-
bilidades v, tal que a vP = v.
1.3.5 Exercı́cios
1. Mostrar que se o estado x é recorrente e do estado x não se comunica com o estado y então px,y = 0.
2. Prove que, se o número de estados em uma cadeia de Markov é M , e se o estado j pode ser alcançado a partir do estado i, então
ele pode ser alcançado em etapas M ou menos.
3. ifghçogis
4. Um biólogo gostaria de estimar o tamanho de uma certa população de peixes. Uma abordagem sequencial é proposta, isto
implica que um membro da população é amostrado ao acaso, etiquetado e, em seguida, devolvido. Este processo é repetido até
que um membro seja escolhido dentre aqueles que tenham sido previamente marcados. Se desejar, podemos então começar a
marcar novamente com um novo tipo de etiqueta. Seja M a tentativa na qual o primeiro peixe previamente marcado é amostrado
e seja N o tamanho total da população. Este processo pode ser descrito em termos de uma Cadeia de Markov na qual Xk é o
número de sucessivos membros observados não marcados. Isto é Xk = k para k = 1, 2, · · · , M e XM = 0.
(a) Para um N = n fixo, encontre a matriz de probabilidades de transição.
(b) Encontre P (XM = m|X0 = 0), para m = 2, 3, · · · , n.
1.4. DISTRIBUIÇÃO ESTACIONÁRIA 57
1.4 Distribuição estacionária

Se todos os estados em uma Cadeia de Markov forem transientes, as probabilidades de estado em n passos se
aproximam de zero e, se a cadeia tiver alguns estados transientes e outros recorrentes, eventualmente, o processo
entra e permanece mudando entre os estados recorrentes. Portanto, podemos nos concentrar na classe dos estados
recorrentes ao estudar as probabilidades limites de uma cadeia.
Suponha uma função de probabilidade definida em S tal que, se a nossa Cadeia de Markov começa com
distribuição inicial π0 = π, então nós também temos π1 = π. Isto é, se a distribuição no tempo 0 é π, então a
distribuição no tempo 1 é ainda π. Então π é chamada uma distribuição estacionária.
Definição 1.26
Se π(x), com x ∈ S satisfaz que é formada de números não negativos que somam um e se
∑
π(x)px,y = π(y), y∈ S (1.64)
x
então π é chamada de distribuição estacionária.
Suponha que a distribuição estacionária π exista e satisfaça que

lim p(n)
x,y = π(y), y ∈ S· (1.65)
n→∞
Então, como veremos em breve, independentemente da distribuição inicial da cadeia, a distribuição de Xn se

aproxima de π quando n → ∞. Em tais casos, π é, por vezes, chamada de distribuição de estado estacionária.
Nesta seção vamos determinar qual Cadeia de Markov tem distribuição estacionária, quando esta distribuição
é única e quando (1.65) se cumpre.
Exemplo 1.35
No caso de uma Cadeia de Markov com espaço de estados S = {0, 1} e matriz de transição
0 1
( )
0 1−p p
,
1 q 1−q
se p + q > 0, esta cadeia tem uma única distribuição estacionária π, dada por
q p
π(0) = e π(1) = ·
p+q p+q
Podemos mostrar também que se 0 < p + q < 2, a expressão em (1.65) é válida.
Para Cadeias de Markov tendo um número finito de estados, as distribuições estacionárias podem ser encontradas
resolvendo um sistema de equações lineares finito.
Exemplo 1.36
Considere uma Cadeia de Markov com espaço de estados S = {0, 1, 2} e matriz de probabilidades de transição
0 1 2
1 1 1

0 3 3 3
1
4
1 1
2
1
4

·
2 16 1
3
1
2
Mostraremos que esta cadeia tem uma única distribuição estacionária π e a encontraremos.
A expressão em (1.64) fornece, nesta situação, as seguintes três equações:
π(0) π(1) π(2)

+ + = π(0),
3 4 6
π(0) π(1) π(2)
+ + = π(1),
3 2 3
π(0) π(1) π(2)
+ + = π(2),
3 4 2
∑
e, pelo fato de, x π(x) = 1, temos a quarta equação
π(0) + π(1) + π(2) = 1·
Multiplicando por dois a primeira equação e subtraindo-a da segunda equação conseguimos eliminar π(2) e
descobrir que π(1) = 5π(0)/3. Concluı́mos a partir da primeira equação que π(2) = 3π(0)/2. Da quarta
equação, agora vemos que ( )
5 3
π(0) 1 + + = 1,
3 2
6
e, portanto, que π(0) = 25
. Assim,
5 6 2
π(1) = × =
3 25 5
e
3 6 9
π(2) = × = ·
2 25 25
É facilmente visto que estes números satisfazem todas as quatro equações. Uma vez que são não-negativos, a
distribuição estacionária única é dada por
( )
6 2 9
π= , , ·
25 5 25
Embora não seja fácil ver diretamente, a expressão em (1.65) é válida para esta cadeia.
Escrevendo as equações desta forma nem sempre é a melhor coisa a fazer. Em vez de eliminar equações, intro-
duzimos mais, esperando ser capazes de escolher, dentre elas, um conjunto de equações linearmente independentes
que podem ser mais facilmente resolvidas.
Exemplo 1.37
Considere a cadeia de Ehrenfest descrita no exemplo 1.7, Seção 1.1.3, e suponha que d = 3. Encontremos a
distribuição estacionária. Nestas condições, a matriz de probabilidades de transição é
0 1 2 3
 
0 0 1 0 0
1 1
3 0 2
0
1 ·
3
2 0 2
3
0 3
3 0 0 1 0
Similar ao exemplo anterior, encontramos que a distribuição estacionária é única e dada por
( )
1 3 3 1
π= , , , ·
8 8 8 8
(n)
A expressão em (1.65) não se cumpre para a cadeia no Exemplo 1.37, dado que px,x = 0 para todo valor ı́mpar
de n. Podemos modificar a cadeia Ehrenfest um pouco e evitar esse tipo de comportamento periódico.
Exemplo 1.38 (Cadeia de Ehrenfest modificada)
Suponha que temos duas caixas rotuladas 1 e 2 e também d bolas rotuladas por 1, 2, · · · , d. Inicialmente,
algumas das bolas estão na caixa 1 e as restantes estão na caixa 2. Um número inteiro é escolhido aleatoriamente
de 1, 2, · · · , d e a bola marcada por esse inteiro é removida de sua caixa. Vamos agora selecionar aleatoriamente
uma das duas caixas e colocar a bola removida nessa caixa. O procedimento é repetido indefinidamente e as
seleções são realizadas de forma independente. Definamos Xn como o número de bolas na caixa 1 após o n-ésimo
experimento. Então, Xn , n ≥ 0, é uma Cadeia de Markov no espaço de estados
S = {0, 1, · · · , d}·
Encontremos a distribuição estacionária desta cadeia para d = 3.

A matriz de probabilidades de transição, quando d = 3, é
0 1 2 3
1 1 
0 2 2
0 0
1
6
1 1
2
1
3
0
 1 1 1 ·
2 0 3 2 6
1 1
3 0 0 2 2
Para ver por que P é dado como indicado, vamos encontrar p1,y , 0 ≤ y ≤ 3. Começamos com uma bola na
caixa 1 e duas bolas na caixa 2. Então p1,0 é a probabilidade de que a bola selecionada seja da caixa 1 e que a
caixa selecionada seja a 2. Assim
1 1 1
p1,0 = × = ·
3 2 6
Em segundo lugar, p1,2 é a probabilidade de que a bola selecionada seja da caixa 2 e a caixa selecionada é a 1.
Assim
2 1 1
p1,2 = × = ·
3 2 3
Logicamente p1,3 = 0, dado que, no máximo, uma bola é transferido de cada vez. Finalmente, p1,1 pode ser
obtido por subtração de p1,0 + p1,2 + p1,3 de 1. Alternativamente, p1,1 é a probabilidade de que tanto a bola
selecionada quanto a caixa selecionado sejam a caixa 1 ou a bola selecionada é da caixa 2 e a caixa selecionada
também seja a caixa 2. Assim
1 1 2 1 1
p1,1 = × + × = ·
3 2 3 2 2
As outras probabilidades são calculados de forma semelhante. Vê-se facilmente que π(x), 0 ≤ x ≤ 3, são os
mesmos que no exemplo anterior e, portanto, a distribuição estacionária é novamente dada por
( )
1 3 3 1
π= , , , ·
8 8 8 8
Provaremos posteriormente que a expressão em (1.65) é válida neste exemplo.
1.4.1 Propriedades da distribuição estacionária

Vamos introduzir a noção de ”fluxo de probabilidade”de um conjunto A de estados para o seu complemento sob
uma distribuição.
Definição 1.27
Seja {Xn } uma Cadeia de Markov com matriz de probabilidades de transição P = (px,y ) e espaço de estados S.
Definimos a probabilidade de fluxo do conjunto de estados A ⊂ S ao seu complemento, baixo a distribuição π
como ∑∑
pA,Ac = π(x)px,y · (1.66)
x∈A y∈Ac
Dizemos que π(x)px,y é o fluxo de probabilidade entre x e y. Assim pA,Ac é o fluxo de probabilidades totais
entre cada elemento de A e Ac .
Observemos que ao mencionarmos π como uma distribuição na definição anterior nos referimos a uma função
de probabilidade definida em S, não necessariamente sendo a distribuição estacionária. Este conceito é útil para
caracterizar a distribuição estacionária, resultado apresentado a continuação.
Teorema 1.27
Seja pA,Ac a probabilidade de fluxo de uma ∑ Cadeia de Markov com espaço de estados S. A função π é a
distribuição estacionária se, e somente se, x∈S π(x) = 1 e
pA,Ac = pAc ,A , (1.67)
para todo A ⊂ S.
∑ ∑
Demonstração : Seja π a distribuição estacionária, sabemos que x π(x) = 1 e ainda x π(x)px,y = π(y). Por outro
lado, qualquer seja A ⊂ S
∑ ∑ ∑ ∑
pA,Ac + pAc ,Ac = π(x)px,y + π(x)px,y
(c
x∈A y∈A x∈Ac y∈Ac )
∑ ∑ ∑
= π(x)px,y + π(x)px,y
y∈A c x∈A x∈Ac
∑
= π(y)·
y∈Ac
∑ ∑ ∑
Então pA,Ac = y∈Ac π(y) − pAc ,Ac . Similarmente pAc ,Ac + pAc ,A = x∈Ac π(x) ou pAc ,Ac = x∈Ac π(x) − pAc ,A , do
qual obtemos que pA,Ac = pAc ,A .
∑
Suponhamos agora que x π(x) = 1 e que ∀A ⊂ S
pA,Ac = pAc ,A ·
Em particular, se A = {a}, Ac = S \ {a}, qualquer seja a ∈ S. Então,

∑ ∑ ∑ ∑
π(x)px,y = π(x)px,y
x∈A y∈A c x∈A c
∑ ∑ y∈A
π(a)pa,y = π(x)px,a ,
y∈Ac x∈Ac
do qual obtemos que ∑ ∑

π(a) pa,y = π(x)px,a
y∈Ac x∈Ac
∑
π(a)[1 − pa,a ] = π(x)px,a
∑c
x∈A
π(a) = π(x)px,a + π(a)pa,a
∑c
x∈A
π(a) = π(x)px,a ·
x∈S
Portanto, π é a distribuição estacionária.
Logicamente, no caso de cadeias com um número de estados razoavelmente grande, utilizar o resultado deste
teorema não é a melhor forma de verificar se a função de probabilidade π é a distribuição estacionária. O trabalho
de utilizar este resultado fica mais claro com o exemplo a seguir.
Exemplo 1.39
No Exemplo 1.36 vemos que S = {0, 1, 2} é pequeno, deste espaço de estados definimos 6 subconjuntos
{0}, {1}, {2}, {0, 1}, {0, 2}, {1, 2} nos quais devemos verificar se a igualdade em (1.67) se satisfaz. Por exemplo,
se A = {0}, Ac = {1, 2} e então
( )
6 1 1 4
pA,Ac = π(0)(p0,1 + p0,2 ) = + =
25 3 3 25
e
2 1 9 1 4
× +
pAc ,A = π(1)p1,0 + π(2)p2,0 = × = ·
5 4 25 6 25
Assim podemos construir a Tabela 1.2. As outras situações são redundantes. Desta forma verificamos que
π = (6/25, 2/5, 9/25)
é, efetivamente, a distribuição estacionária da cadeia.
A Ac pA,Ac pAc ,A
{0} {1, 2} π(0)(p0,1 + p0,2 ) = 4/25 π(1)p1,0 + π(2)p2,0 = 4/25
{1} {0, 2} π(1)(p1,0 + p1,2 ) = 1/5 π(0)p0,1 + π(2)p2,1 = 1/5
{2} {0, 1} π(2)(p2,0 + p2,1 ) = 9/50 π(0)p0,2 + π(1)p1,2 = 9/50
Tabela 1.2: Distribuição estacionária no Exemplo 1.39.
A definição de distribuição estacionária tem a ver com a probabilidade em um passo. Surge então a pergunta,
o que acontece com a distribuição estacionária se utilizarmos alguma potência da probabilidade de transição?
Teorema 1.28
Seja {Xn } uma Cadeia de Markov com matriz de probabilidades de transição P = (px,y ) e distribuição esta-
cionária π. Então ∑
π(x)p(n)
x,y = π(y), y ∈ S· (1.68)
x∈ S
Demonstração : Dado que π é a distribuição estacionária da Cadeia de Markov, então

∑ ∑ ∑
π(x)p(2)
x,y = π(x) px,z pz,y
x∈ S x∈ S ( z∈ S )
∑ ∑
= π(x)px,z pz,y
z∈ S x∈ S
∑
= π(z)pz,y = π(y)·
z∈ S
Similarmente, por indução com base na fórmula
∑
p(n+1)
x,y = p(n)
x,z pz,y ,
z
concluı́mos que para todo n vale a expressão em (1.68).
Se X0 tem π, a distribuição estacionária da cadeia, como sua distribuição inicial, temos que (1.68) implica que
para todo n
P (Xn = y) = π(y), y ∈ S, (1.69)
e, portanto, a distribuição de Xn é independente de n. Suponhamos, por outro lado, que a distribuição de Xn é
independente de n, então a distribuição inicial é tal que
∑
π0 (y) = P (X0 = y) = P (Xt = y) = π0 (x)px,y ·
x∈ S
Consequentemente, π0 é a distribuição estacionária. Em resumo, a distribuição de Xn é independente de n se, e

somente se, a distribuição inicial é a distribuição estacionária.
Suponhamos agora que π seja a distribuição estacionaria e que (1.65) se satisfaça. Seja π0 a distribuição inicial.
Então ∑
P (Xn = y) = π0 (x)p(n)
x,y , ∈ S (1.70)
x∈ S
Utilizando (1.65) e o teorema da convergência limitada, podemos fazer n → ∞ em (1.70), obtendo-se que
∑
lim P (Xn = y) = π0 (x)π(y)· (1.71)
n→∞
x∈ S
∑
Desde que x π0 (x) = 1, concluı́mos que
lim P (Xn = y) = π(y), y ∈ S· (1.72)
n→∞
A expressão em (1.72) estabelece que, independentemente da distribuição inicial, para grandes valores de n a
distribuição de Xn é aproximadamente igual à distribuição estacionária π. Implica que π é a distribuição estacionária
única. Se houvesse alguma outra distribuição estacionária poderı́amos usá-la como π0 , a distribuição inicial. A
partir de (1.69) e (1.72) podemos concluir que π0 (y) = π(y), para y ∈ S.
Considere um sistema descrito por uma Cadeia de Markov tendo única distribuição estacionária π e matriz de
probabilidades de transição P. Suponha que começamos a observar o sistema depois que ele vem acontecendo há
algum tempo, digamos n0 unidades de tempo, para algum grande inteiro positivo n0 . Efetivamente, observa-se Yn ,
n ≥ 0, em que
Yn = Xn+n0 , n ≥ 0·
As variáveis aleatórias Yn , onde n ≥ 0, também formam uma Cadeia de Markov com matriz de probabilidades de
transição P. Para determinar probabilidades univocas para eventos definidos em termos da cadeia Yn , precisamos
saber a sua distribuição inicial, que é a mesma distribuição inicial de Xn0 . Na maioria das aplicações práticas, é
muito difı́cil determinar exatamente essa distribuição. Podemos não ter escolha a não ser assumir que Yn , n ≥ 0,
tem a distribuição estacionária π como sua distribuição inicial. Esta é uma suposição razoável se (1.65) é válida
para n0 grande.
1.4.2 Número médio de visitas a um estado recorrente

Nesta seção, vamos considerar duas quantidades descritivas estreitamente relacionadas de interesse para as cadeias
ergódicas: o tempo médio de retorno ao estado e o tempo médio para ir de um estado para outro estado.
Considere uma cadeia irredutı́vel de nascimento e morte com distribuição estacionária π. Suponha que px,x = 0,
x ∈ S, como na cadeia de Ehrenfest de ruı́na do jogador. Então, em cada transição a cadeia de nascimento e morte
se move ou um passo para a direita ou um passo para a esquerda. Assim, a cadeia pode regressar ao ponto de
partida somente após um número par de transições.
(n)
Em outras palavras, px,x = 0 para valores ı́mpares de n. Para tais cadeias a expressão
lim p(n)
x,y = π(y), y ∈ S,
n→∞
não se satisfaz.
Existe uma maneira de lidar com tais situações. Seja an , n ≥ 0, uma sequencia de números. Se
lim an = L, (1.73)
n→∞
para algum número finito L, então

n
1∑
lim am = L· (1.74)
n→∞ n
m=1
A expressão em (1.74) pode ser válida, inclusive, se a expressão em (1.73) não vale. Por exemplo, se an = 0 para
n par e an = 1 caso n for ı́mpar, então an não tem limite quando n → ∞, porém
n
1∑ 1
lim am = ·
n→∞ n 2
m=1
Nesta seção vamos demonstrar que

n
1 ∑ (m)
lim px,y
n→∞ n
m=1
existe para cada par de estados x, y de uma Cadeia de Markov arbitrária. Na Seção 1.4.4 usaremos a existência
desses limites para determinar qual Cadeia de Markov têm distribuição estacionária e quando há uma distribuição
estacionária única.
Recordemos que {
1, z=y
1y (z) = ,
0, z ̸= y
é a função indicadora e que
Ex [1y (Xn )] = Px (Xn = y) = p(n)
x,y , (1.75)
ou seja, a esperança da função indicadora do evento {Xn = y} é a probabilidade de estarmos no estado y partindo
do estado x depois de n passos.
Vejamos agora uma nova forma de calcular o número de visitas a um estado. O número médio de visitas a um
estado é uma quantidade importante estreitamente relacionada com a distribuição estacionária.
Definição 1.28
O número de visitas da Cadeia de Markov {Xn }n≥0 ao estado y nos tempos m = 1, · · · , n é definido como
n
∑
Nn (y) = 1y (Xm )· (1.76)
m=1
Seja agora
n
∑
Gn (x, y) = p(m)
x,y , (1.77)
m=1
então o número esperado de visitas ao estado y a partir de x é determinado de acordo com (1.76) e é dado por
Ex [Nn (y)] = Gn (x, y)· (1.78)
Se y for um estado transiente, então
lim Nn (y) = N (y) < ∞ com probabilidade um,

n→∞
e
lim Gn (x, y) = G(x, y) < ∞, x ∈ S·
n→∞
Segue então que

Nn (y)
lim =0 com probabilidade um (1.79)
n→∞ n
e que
Gn (x, y)
lim = 0, x ∈ S· (1.80)
n→∞ n
Observe-se que Nn (y)/n é a proporção de vezes que a cadeia está no estado y nas primeiras n unidades de tempo
e que Gn (x, y)/n é o valor esperado de esta proporção para uma cadeia partindo do estado x.
Exemplo 1.40
No exemplo da compra de pasta de dentes (Exemplo 1.22) vamos calcular aproximadamente o valor esperado
da proporção de vezes que esta cadeia está em cada estado. A matriz de probabilidades de transição é
A B
( )
A 1/3 2/3
P= ·
B 2/3 1/3
Utilizando as linhas de comando R a seguir conseguimos calcular aproximadamente, isto é, para um valor
de n finito o valor da função Gn (x, y) definida em (1.77).
estados = c("Marca A","Marca B")
Prob.T=matrix(c(1/3,2/3,2/3,1/3), nrow=2,ncol=2,byrow=T, dimnames=list(estados,estados))
name="Compras de pasta de dentes")
mm=0;
mm}
A função Soma serve como aproximação ao valor de Gn (x, y), quanto maior seja o número de somandos mais
aprimorado será o resultado obtido. Por isso, utilizamos esta função com n = 600, a qual produz o seguinte
resultado.
Soma(ProbT,600)/600
Marca A Marca B
Marca A 0.4997917 0.5002083
Marca B 0.5002083 0.4997917
Como resultados temos que em 50% dos casos a cadeia estará em cada um dos estados partindo de qualquer
um deles.
Suponha agora que y é um estado recorrente. Seja my = Ey (Ty ) o tempo de retorno médio a y para uma cadeia
a partir de y, se este tempo de retorno tem esperança finita e my = ∞ caso contrário. Vamos denotar por 1{Ty <∞}
a variável aleatória indicadora do evento {Ty < ∞} assumindo valor 1 se Ty < ∞ e 0 se Ty = ∞.
Teorema 1.29
Seja y um estado recorrente. Então
Nn (y) 1{Ty <∞}

lim = com probabilidade um (1.81)
n→∞ n my
e
Gn (x, y) ρxy
lim = , x ∈ S· (1.82)
n→∞ n my
Demonstração : Se my = ∞ a direita da expressão em (1.81) é zero e então (1.79) e (1.80) são válidas. Logo, somente
é de interesse o caso my finita. Para demonstrar este teorema devemos considerar algumas variáveis aleatórias
adicionais. Seja uma Cadeia de Markov qualquer começando no estado recorrente y. Com probabilidade um retorna
ao estado y infinitas vazes. Para r ≥ 1 seja Tyr o tempo da r-ésima ao estado y, de modo que
Tyr = min[n ≥ 1 : Nn (y) = r]·
Seja Wy1 = Ty1 = Ty e para r ≥ 2 seja Wyr = Tyr − Tyr−1 denotando o tempo de espera entre a (r − 1)-ésima visita a
y e a r-ésima visita a y. Claramente
Tyr = Wy1 + · · · + Wyr ·
As variáveis aleatórias Wy1 , Wy2 , · · · são independentes e igualmente distribuı́das e, então, tem média comum Ey (Wy1 ) =
Ey (Ty ) = my . Este resultado é intuitivamente óbvio, já que cada vez que a cadeia retorna a y comporta-se, a partir
de então, como faria uma cadeia que tivesse começando inicialmente em y. Pode-se dar uma prova rigorosa deste
resultado.
Para r ≥ 1, temos que
P (Wyr+1 = mr+1 |Wy1 = m1 , · · · , Wyr = mr ) = Py (Wy1 = mr+1 )
e em seguida, mostrado por indução que
Py (Wy1 = m1 , · · · , Wyr = my ) = Py (Wy1 = m1 ) × · · · × Py (Wy1 = mr )·
O teorema dos grandes números implica que
Wy1 + Wy2 + · · · + Wyk

lim = my ,
n→∞ k
com probabilidade um, isto é, que
Tyk
lim = my , (1.83)
k→∞ k
com probabilidade um.

Seja Nn (y) = r. Isto significa que no tempo n a cadeia fez exatamente r visitas a estado y. Assim, a r-ésima
visita a y ocorre no instante de tempo n ou antes e a (r + 1)-ésima visita a y ocorre após o instante n, isto é,
TyNn (y) ≤ n < TyNn (y)+1 ,

e então
N (y) N (y)+1
Ty n n Ty n
≤ ≤ ,
Nn (y) Nn (y) Nn (y)
ou, pelo menos, estes resultados são válidos para n suficientemente grande de modo que Nn (y) ≥ 1.
Dado que Nn (y) → ∞ com probabilidade um quando n → ∞, estas desigualdades e (1.83) juntas implicam em
n
lim = my ,
n→∞ Nn (y)
com probabilidade um ou, de maneira equivalente, a expressão em (1.86) é válida.

Seja y um estado recorrente como antes mas X0 tendo uma distribuição arbitrária. Isto significa que a cadeia
pode nunca chegar a y. Se ela alcança y, no entanto, o argumento anterior é válido e, portanto
Nn (y) 1{Ty <∞}
→
n my
com probabilidade um. Então (1.81) é válido.

Por definição 0 ≤ Nn (y) ≤ n, e então
Nn (y)
0≤≤ 1· (1.84)
n
Pelo teorema da Convergência Dominada, permite-nos concluir de (1.81) e (1.84) que
( ) ( )
Nn (y) 1{Ty <∞} Px (Ty < ∞) ρxy
lim Ex = Ex = = ,
n→∞ n my my my
e da expressão (1.39) a expressão em (1.82) vale. Isto completa a demonstração do Teorema 1.29.
Estas fórmulas são intuitivamente muito razoáveis. Uma vez que a cadeia atinge y, retornará a y em média a
cada my unidades de tempo. Assim, se Ty < ∞ e n é grande, a proporção de vezes em que a cadeia está no estado
y deve ser de cerca 1/my unidades, nas primeiras n unidades de tempo. Observemos também que a expressão em
(1.82) se obtém tomando esperança em (1.81).
Corolário 1.30
Seja C um conjunto fechado irredutı́vel de estados recorrentes. Então
Gn (x, y) 1
lim = , x, y ∈ C (1.85)
n→∞ n my
e se P (X0 ∈ C) = 1, então com probabilidade um
Nn (y) 1
lim = , y ∈ C· (1.86)
n→∞ n my
Demonstração : Lembremos que se y é um estado recorrente então ρx,y = 1 (Teorema 1.15) e que P (Ty < ∞) = 1.
Exemplo 1.41
Seja {Xn } uma Cadeia de Markov com matriz de probabilidades de transição
0 1 2
 
0 0.90 0.01 0.09
P = 1 0.01 0.90 0.09 ·
2 0.01 0.09 0.90
Observamos que
0 1 2
 
0 0.0909090 0.4354067 0.4736842
lim P n = 1 0.0909090 0.4354067 0.4736842 ·
n→∞
2 0.0909090 0.4354067 0.4736842
Isto faz dela uma cadeia regular, ou seja, alguma potência da matriz de transição não têm zeros e isso implica
que nenhum estado é absorvente, também significa que a cadeia é ergódica e, portanto, todos os estados são
recorrente. Ainda temos que, segundo a expressão (1.85), no Corolário 1.30
Gn (x, 0) 1
limn→∞ = = 0.1644622,
n m0
Gn (x, 1) 1
limn→∞ = = 0.3820475,
n m1
Gn (x, 2) 1
limn→∞ = = 0.4534903,
n m2
qualquer seja x ∈ {0, 1, 2}. Deste resultado concluı́mos que m0 = 6.080426, m1 = 2.617475 e m2 = 2.205119.
0.6
0.5
p02
p01
0.4
0.3
p00
0.2
0.1
0.0
20 40 60 80 100
n
Figura 1.7: Convergência ao tempo de retorno médio.
A Figura 1.7 mostra a velocidade de convergência ao tempo de retorno médio, percebemos que com n relativa-
mente pequeno nos aproximamos, com grande acuracidade, à probabilidade da cadeia ir a cada estado.
1.4.3 Estados recorrentes nulos e recorrentes positivos

Estudamos aqui duas classes de estados recorrentes, os recorrentes nulos e os recorrentes positivos, de interesse
para a distribuição estacionária.
Definição 1.29
Um estado recorrente y é chamado de recorrente nulo se my = ∞.
Do Teorema 1.29 podemos perceber que, se y é um estado recorrente nulo, então

∑n (m)
Gn (x, y) m=1 px,y
lim = lim = 0, x ∈ S· (1.87)
n→∞ n n→∞ n
Teorema 1.31
Seja y é um estado recorrente nulo, então
lim p(n)
x,y = 0, x ∈ S, (1.88)
n→∞
Demonstração : Consequência do Teorema 1.29 e do fato de my = ∞.
Este é um resultado mais forte do que àquele em (1.87). Não o vamos provar uma vez que não será necessário
mais tarde, e sua prova é bastante difı́cil.
Definição 1.30
Um estado recorrente y é chamado de recorrente positivo se my < ∞.
Do Teorema 1.29 podemos perceber que, se y é um estado recorrente positivo, então
Gn (x, y) 1
lim = > 0, x ∈ S· (1.89)
n→∞ n my
Assim, (1.87) e (1.88) não são válidas para estados recorrentes positivos.
Considere uma Cadeia de Markov começando no estado recorrente y. Se segue do Teorema 1.29 que, se y é um
estado recorrente nulo, então com probabilidade um, a proporção de tempo que a cadeia está no estado y durante as
primeiras n unidades de tempo se aproxima de zero quando n → ∞. Por outro lado, sendo y um estado recorrente
positivo, com probabilidade um, a proporção de tempo que a cadeia está em y durante as primeiras n unidades de
tempo se aproxima de 1/my , um número positivo, quando n → ∞.
Teorema 1.32
Seja x um estado recorrente positivo e suponha que x conduz a y. Então, y é um estado recorrente positivo.
Demonstração : Segue do Teorema 1.15 que y conduz a x e, então, x e y se comunicam. Então, existem inteiros n1 e
n2 tais que
p(n 1)
y,x > 0 e p(n 2)
x,y > 0·
Agora,
p(n
y,y
1 +m+n2 )
≥ p(n 1 ) (m) (n2 )
y,x px,x px,y ,
e somando em m = 1, 2, , · · · , n e dividindo por n, concluı́mos que
Gn1 +n+n2 (y, y) Gn1 +n2 (y, y) (n1 ) (n2 ) Gn (x, x)

− ≥ py,x px,y ·
n n n
Quando n → ∞, o termo à esquerda da desigualdade acima converge a 1/my e o termo à direita converge a
(n ) (n )
py,x1 px,y2
·
mx
Portanto
(n ) (n )
1 py,x1 px,y2
≥ > 0,
my mx
e, por consequência, my < ∞. Isto mostra que y é um estado recorrente positivo.
A partir deste teorema e do Teorema 1.15, vemos que, se C é um conjunto fechado irredutı́vel, então cada estado
em C é transiente, cada estado em C é recorrente nulo ou cada estado em C é recorrente positivo.
Definição 1.31
Uma Cadeia de Markov é chamada de cadeia recorrente nula se todos os seus estados são recorrentes nulos. Uma
Cadeia de Markov é chamada de cadeia recorrente positiva se todos os seus estados são recorrentes positivos.
Vemos, portanto, que uma Cadeia de Markov irredutı́vel é ou uma cadeia transiente, ou uma cadeia recorrente
nula ou uma cadeia recorrente positiva.
Se C é um conjunto fechado finito de estados então C tem, pelo menos, um estado recorrente positivo. Por
causa de ∑
p(m)
x,y = 1, x ∈ C,
y∈C
somando em m = 1, · · · , n e dividindo por n encontramos que

∑ Gn (x, y)
= 1, x ∈ C·
y∈C
n
Caso C tiver finitos elementos e cada estado em C for transiente ou recorrente nulo, então o resultado em (1.80)
vale e
∑ Gn (x, y) ∑ Gn (x, y)
1 = lim = lim = 0,
n→∞
y∈C
n n→∞
y∈C
n
uma contradição.
Teorema 1.33
Seja C um conjunto fechado irredutı́vel de estados. Então todo estado em C é recorrente positivo.
Demonstração : Dado que C é um conjunto finito fechado, existe ao menos um estado recorrente positivo em C. Dado
que C é irredutı́vel, todo estado em C é recorrente positivo pelo Teorema 1.32
Corolário 1.34
Uma Cadeia de Markov ergódica com um número finito de estados é recorrente positiva.
Demonstração : Segue imediatamente do Teorema 1.33 e do Teorema 1.32.
Corolário 1.35
Uma Cadeia de Markov ergódica com um número finito de estados não tem estado recorrente nulo.
Demonstração : Para verificar este Corolário observe que, se y é um estado recorrente, então, pelo Teorema 1.18 y
está contido em um conjunto irredutı́vel fechado C de estados recorrentes. Como C é necessariamente finito, se
segue do Teorema 1.33, que todos os estados em C, incluindo o próprio y, são recorrentes positivos. Assim, cada
estado recorrente é recorrente positivo e, portanto, não há estados recorrentes nulos.
Exemplo 1.42 (Festival de Música)

Imagine um estudante em um festival de música, podemos considerar quatro possı́veis locais onde o estudante
pode estar, estas são: “Bar”,“Concerto”,“Danceteria”. Estabelecemos que as probabilidades de mudança entre
as locações seja como apresentadas na matriz de transição a seguir.
Bar Concerto Danceteria

 1 1 1 
Bar 2 4 4
 1 1 
P = Concerto  2
0 2 ·
Danceteria 1 0 0
Não é difı́cil perceber que esta é uma cadeia ergódica logo, pelos Corolários 1.34 e 1.35 nesta cadeia todos os
estados são recorrentes positivos. O cálculo de sua distribuição estacionária fornece como resultado
( )
8 3 2
π= , , ·
13 13 13
Bastante inesperadamente, o estudante passa a maior parte do tempo no bar.
1.4.4 Existência e unicidade

Nesta seção vamos determinar quais Cadeias de Markov têm distribuições estacionárias e quando há uma única tal
distribuição.
Seja agora π a distribuição estacionária e m um número positivo inteiro. Então, sabemos que
∑
π(z)p(m)
z,x = π(x),
z∈ S
qualquer seja o valor de m. Somando em m = 1, 2, · · · , n e dividindo por n, concluı́mos que

∑ Gn (z, x)
π(z) = π(x), x ∈ S· (1.90)
z∈ S
n
Exemplo 1.43
No caso do modelo de genes (Exemplo 1.9) temos que (Reaver este exemplo)!!!!!!!!!!!!!!!!!!
GG Gg gg
 
GG 1/2 1/2 0
P = Gg  1/4 1/2 1/4 ·
gg 0 1/2 1/2
Aceitemos que a distribuição estacionária seja π = (0.25, 0.50, 0.25). Então, com os comandos a seguir, vamos
mostrar que
∑ ∑ G1 (z, x)
π(z)pz,x = π(z) = π(x), x ∈ S· (1.91)
z∈ S z∈ S
1
estados = c("GG","Gg","gg")
Prob.T=matrix(c(1/2,1/2,0,1/4,1/2,1/4,0,1/2,1/2),
ProbT = new("markovchain", states=estados, transitionMatrix=Prob.T, name="Modelo de genes")
Desta forma definimos a matriz de probabilidades de transição. Agora definimos o vetor π, da distribuição
estacionária
Pi=c(0.25,0.5,0.25)
e fazemos as contas em (1.91) com as seguintes linhas de comando

Pi%*%ProbT[]
GG Gg gg
[1,] 0.25 0.5 0.25
mm=0;
mm}
Pi%*%(Soma(ProbT,1)/1)
GG Gg gg
[1,] 0.25 0.5 0.25
A função Soma serve para calcular Gn (z, x) e como podemos perceber, os dois produtos fornecem o mesmo
resultado.
Esta é uma situação atı́pica, no sentido que com n, m = 1 conseguimos identificar a distribuição estacionária.
Teorema 1.36
Seja π a distribuição estacionária de uma Cadeia de Markov com espaço de estados S. Se x é um estado
transiente ou recorrente nulo, temos que π(x) = 0.
Demonstração : Se x é um estado transiente ou recorrente nulo, temos que

Gn (z, x)
lim = 0, x ∈ S, (1.92)
n→∞ n
como mostrado em (1.80) e (1.87). Segue então, das expressões em (1.90) e (1.92) e do Teorema da Convergência
Dominada que
∑ Gn (z, x)
π(x) = lim π(z) = 0,
n→∞ n
z∈ S
como desejado.
Decorre deste teorema que uma Cadeia de Markov que não tenha estados recorrentes positivos não tem distri-
buição estacionária.
Teorema 1.37
Uma Cadeia de Markov irredutı́vel positiva tem distribuição estacionária única π, dada por
1
π(x) = , x ∈ S· (1.93)
mx
Demonstração : Segue do Teorema 1.29 e da suposição deste teorema que
Gn (z, x) 1
lim = , z, x ∈ S· (1.94)
n→∞ n mx
Suponha que π seja a distribuição estacionária. Das expressões (1.90) e (1.94) e do Teorema da Convergência
Dominada, temos que
∑ Gn (z, y) 1 ∑ 1
π(x) = lim π(z) = π(z) = ·
n→∞ n mx mx
z∈ S z∈ S
Então, se existe distribuição estacionária deve ser como apresentada em (1.93). Para completar a demonstração
devemos provar que esta função é, de fato, distribuição estacionária. É claramente de componentes não negativas,
por isso precisamos apenas mostrar que
∑ 1
=1 (1.95)
mx
x∈ S
e que
∑ 1 1
px,y = , y ∈ S· (1.96)
mx my
x∈ S
Para este fim, observamos primeiro que ∑

p(m)
z,x = 1, m ≥ 1·
x∈ S
Somando em m = 1, · · · , n e dividindo por n, concluı́mos que

∑ Gn (z, x)
= 1, z ∈ S· (1.97)
n
x∈ S
Agora observemos que (1.27)

∑
p(m) (m+1)
z,x px,y = pz,y ·
x∈ S
Novamente, somando em m = 1, · · · , n e dividindo por n, concluı́mos que

∑ Gn (z, x) Gn+1 (z, y) pz,y
px,y = − · (1.98)
n n n
x∈ S
Caso S seja finito, concluı́mos de (1.94) e (1.97) que

∑ Gn (z, x) ∑ 1
1 = lim = ,
n→∞ n mx
x∈ S x∈ S
ou seja, concluı́mos que (1.95) vale. De maneira similar concluı́mos que o resultado em (1.96) vale fazendo n → ∞
em (1.98). Isto completa a demonstração para o caso de S finito.
O argumento para completar a demonstração para o caso S infinito é mais complicado, uma vez que o Teorema
da Convergência Dominada não se aplica e, portanto, não podemos trocar o limite com as somas que nem fizemos
no caso finito. Seja agora S1 ⊂ S um subconjunto finito de S. Da relação em (1.97) vemos que
∑ Gn (z, x)
≤ 1, z ∈ S·
n
x∈ S1
Devido ao fato de S1 ser finito, podemos fazer n → ∞ nesta desigualdade e concluir de (1.94) que
∑ 1
≤ 1· (1.99)
mx
x∈ S1
Pois, se a soma de 1/mx sobre x ∈ S exceder 1, a soma sobre algum subconjunto finito de S também irá exceder 1.
Similarmente, concluı́mos de (1.98) que se S1 for um subconjunto finito de S, então
∑ Gn (z, x) Gn+1 (z, y) pz,y
px,y ≤ − ·
n n n
x∈ S
Tomando n → ∞ nesta desigualdade e utilizando o resultado em (1.94), obtemos que

∑ 1 1
px,y ≤ , y ∈ S·
mx my
x∈ S1
Concluı́mos que, assim como na demonstração de (1.99), que

∑ 1 1
px,y ≤ , y ∈ S· (1.100)
mx my
x∈ S
A seguir vamos provar que a igualdade vale na expressão em (1.100). Segue de (1.99) que, somando em y na
parte direita de (1.100) é finita. Se a desigualdade estrita se mantém para algum y, seguiria somando (1.100) em y
que ( ) ( )
∑ 1 ∑ ∑ 1 ∑ 1 ∑ ∑ 1
≤ px,y = px,y = ,
my y x
mx x
mx y x
mx
y∈ S
o qual é uma contradição. Isto prova que a igualdade em (1.100) vale, isto é, que (1.96) vale.
Seja agora
1
c= ∑ ·
1
x
mx
Então, pelo resultado em (1.100)
c
π(x) = , x ∈ S,
mx
define uma distribuição estacionária. Então, pela primeira parte da demonstração deste teorema
c 1
= ,
mx mx
e, portanto, c = 1. Isto prova que (1.95) vale e completa a demonstração.
Corolário 1.38
Uma Cadeia de Markov irredutı́vel é recorrente positiva se, e somente se, ela tiver distribuição estacionária.
Demonstração : Consequência imediata dos Teoremas 1.36 e 1.37.
Corolário 1.39
Se uma Cadeia de Markov com um número finito de estados é irredutı́vel então tem distribuição estacionária
única.
Demonstração : É uma consequência do Corolário 1.35 e do Teorema 1.37.
Recordemos que Nn (x) denota o número de visitas ao estado x durante os instantes de tempo m = 1, · · · , n.
Corolário 1.40
Seja {Xn }n≥0 uma Cadeia de Markov irredutı́vel recorrente positiva tendo π como distribuição estacionária.
Então, com probabilidade um
Nx (x)
lim = π(x), x ∈ S·
n→∞ n
Cadeias redutı́veis
Seja π uma função de probabilidades em S, isto é, seja π(x), x ∈ S uma função constituı́da de números não
negativos somando um e seja C um subconjunto de S.
Definição 1.32
Dizemos que π, uma função de probabilidade, está concentrada em C ⊂ S se
π(x) = 0 ∀x ∈
/ C·
Teorema 1.41
Seja C um conjunto fechado irredutı́vel de estados recorrentes positivos. Então a Cadeia de Markov têm
distribuição estacionária única concentrada em C. Isto significa que

 1 , x∈C
π(x) = mx

0, caso contrário
Demonstração : Essencialmente o mesmo argumento utilizado na demonstração do Teorema 1.37.

Suponhamos que C0 e C1 sejam conjuntos de estados recorrentes positivos, fechados, distintos e irredutı́veis.
Segue do Teorema 1.41 que a Cadeia de Markov têm distribuição estacionária π0 concentrada em C0 uma outra
distribuição estacionária π1 concentrada em C1 . Ademais, a distribuição πα , definida para 0 ≤ α ≤ 1 como
πα (x) = (1 − α)π0 (x) + απ1 (x), x ∈ S,
são distribuições estacionárias distintas (Veja o Exercı́cio 12).
Corolário 1.42
Seja SP o conjunto dos estados recorrentes positivos em uma Cadeia de Markov.
(a) Se SP é vazio, a cadeia no possui distribuição estacionária.
(b) Se SP é não vazio irredutı́vel, a cadeia têm distribuição estacionária única.
(c) Se SP é não vazio porém não irredutı́vel, a cadeia têm um número infinito de distribuições estacionárias
distintas.
Demonstração : Obtém-se combinado os resultados e consequências dos Teoremas 1.36, 1.37 e 1.41.
Consideremos agora uma Cadeia de Markov com um número finito de estados. Então, todo estado recorrente
é recorrente positivo e existe pelo menos m de tais estados. Existem duas possibilidades: quer o conjunto SR de
estados recorrentes ser irredutı́vel e há uma distribuição estacionária única ou SR pode ser decomposto em dois
ou mais subconjuntos irredutı́veis fechados e existem infinitas distribuições estacionárias distintas. Esta última
possibilidade vale para uma Cadeia de Markov com espaço de estados S = {0, 1, · · · , d} na qual d > 0, sendo que
os estados 0 e d são ambos absorventes.
Queremos encontrar a distribuição estacionária concentrada em cada um dos conjuntos fechados irredutı́veis.
No Exemplo 1.24 vimos que o conjunto de estados recorrentes desta cadeia pode ser decomposto no es-
tado absorvente 0 e no conjunto irredutı́vel fechado {3, 4, 5}. Logicamente, a distribuição estacionária única
concentrada em {0} é π0 = (1, 0, 0, 0, 0, 0). Para encontrarmos a distribuição estacionária única concentrada
em {3, 4, 5}, devemos identificar números não negativos π(3), π(4) e π(5) tais que somem um e satisfaçam as
equações
π(3) π(4) π(5)
+ + = π(3)
6 2 4
π(3)
= π(4)
3
π(3) π(4) 3π(5)
+ + = π(5)·
2 2 4
Das primeiras duas destas equações encontramos que π(4) = π(3)/3 e π(5) = 8π(3)/3. Assim
π(3) (1 + 1/3 + 8/3) = 1,
do qual concluı́mos que π(3) = 1/4, π(4) = 1/12 e π(5) = 2/3. Por consequência
π1 = (0, 0, 0, 1/4, 1/12, 2/3)
é a distribuição estacionária concentrada em {3, 4, 5}.
1.4.5 Convergência à distribuição estacionária

Temos visto desde o inı́cio da Seção 1.4 que se {Xn } for uma Cadeia de Markov recorrente positiva irredutı́vel,
sendo π sua distribuição estacionária, então
n
1 ∑ (m) Gn (x, y)
lim px,y = lim = π(y), x, y ∈ S·
n→∞ n n→∞ n
m=1
Aqui vamos ver quando o resultado mais forte

lim p(n)
x,y = π(y), x, y ∈ S,
n→∞
é válido e o que acontece se deixa de cumprir-se.

Lembremos que um número inteiro positivo d é dito ser um divisor do inteiro positivo n se n/d é um número
inteiro.
Definição 1.33
Seja I um conjunto de inteiros positivos não vazio. Definimos o máximo divisor comum de I, denotado por
m.d.c. I, o maior inteiro d tal que d é um divisor inteiro positivo de cada elemento n ∈ I.
Segue-se imediatamente que

1 ≤ m.d.c. I ≤ min{n : n ∈ I}·
Em particular, se 1 ∈ I, em seguida temos que m.d.c. I = 1. Um outro detalhe interessante é que o máximo divisor
comum de um conjunto de inteiros positivos pares é 2.
Definição 1.34
(n)
Seja x um estado de uma Cadeia de Markov {Xn }n≥0 tal que px,x > 0 para algum n ≥ 1, isto é, tal que
ρx = Px (Tx < ∞) > 0. Definimos o perı́odo do estado x, denotado por dx , como
dx = m.d.c.{n ≥ 1 : p(n) (x, x) > 0}·
Desta definição vemos que

1 ≤ dx ≤ min{n ≥ 1 : p(n)
x,x > 0}·
Também, se px,x > 0, então dx = 1.
Exemplo 1.45
No Exemplo 1.24 apresentamos uma Cadeia de Markov com matriz de transição
0 1 2 3 4 5
 
0 1 0 0 0 0 0
 
1 14 1 1
0 0 0
 2 4 
2 0 1 2 1
0 1 
P= 
5 5 5
1 1
5 ·
1 
3 0 0 0 6 3 2 
 1 1 
4 0 0 0 2
0 2

1 3
5 0 0 0 4
0 4
Queremos identificar o perı́odo de cada um dos estados desta cadeia. Observamos diretamente que dx = 1
para x = 0, 1, 2, 3, 5 e somente não é possı́vel identificar diretamente o perı́odo do estado 4. O trabalho agora é
(n)
procurar a menor potência de P na qual a probabilidade de transição p4,4 seja positiva. Percebemos rapidamente
(2)
que p4,4 = 1/6, logo d4 = 2.
Teorema 1.43
Sejam x, y estados de uma Cadeia de Markov {Xn }n≥0 com matriz de probabilidades de transição P = (px,y ).
Se x e y forem dois estados que se comunicam, então dx = dy .
Demonstração : Pelo fato dos estados se comunicarem, devem existir n1 e n2 números inteiros tais que
p(n 1)
x,y > 0 e p(n 2)
y,x > 0·
Então temos que

(n1 +n2 ) (n1 ) (n2 )
px,x ≥ px,y py,x > 0,
(n)
e por isso dx é o divisor de n1 + n2 . Se py,y > 0, então
(n1 +n2 )
px,x ≥ p(n 1 ) (n) (n2 )
x,y py,y py,x > 0,
de modo que dx é um divisor de n1 + n + n2 . Desde que dx é divisor de n1 + n2 , ele deve ser um divisor de n. Assim
(n)
dx é um divisor de todos os números no conjunto {n > 1 : py,y > 0}. Devido a que dy é o maior de tais divisores,
concluı́mos que dx ≤ dy . Similarmente dy ≤ dx e então dx = dy .
Nós mostramos, em outras palavras, que os estados de uma Cadeia de Markov irredutı́vel têm perı́odo comum
d.
Definição 1.35
Dizemos que uma Cadeia de Markov irredutı́vel é periódica, com perı́odo d, se d > 1 e é aperiódica se d = 1.
Uma condição suficiente simples para uma Cadeia de Markov irredutı́vel ser aperiódica é que px,x > 0 para
algum x ∈ S.
Teorema 1.44
Seja {Xn }n≥0 uma Cadeia de Markov recorrente positiva irredutı́vel com distribuição estacionária π. Se a
cadeia é aperiódica então
lim p(n)
x,y = π(y), x, y ∈ S· (1.101)
n→∞
Se a cadeia é periódica com perı́odo d, então para cada par de estados x, y ∈ S existe um inteiro r, 0 ≤ r < d
(n)
tal que px,y = 0 a não ser que n = md + r para algum inteiro não negativo m e
lim p(md+r)
x,y = dπ(y), x, y ∈ S· (1.102)
m→∞
Demonstração : Provemos primeiro o caso aperiódico. Considere uma Cadeia de Markov aperiódica, irredutı́vel e
recorrente positiva com matriz de probabilidades de transição P = (px,y ), espaço de estados S e distribuição
estacionária π.
Seja a ∈ S e seja I o conjunto dos inteiros positivos definidos por
I = {n > 0 : p(n)
a,a > 0}·
Então
(a) O máximo divisor comum de I é 1 e,

(b) Se m, n ∈ I, então m + n ∈ I.
O resultado em (b) obtém-se da desigualdade
p(m+n)
a,a ≥ p(m) (n)
a,a pa,a ·
As propriedades (a) e (b) implicam na existência de u número inteiro positivo n1 tal que n ∈ I, ∀n ≥ n1 . Utilizando
(n)
este resultado concluı́mos que pa,a > 0 para todo n ≥ n1 .
Sejam x, y ∈ S. Devido à cadeia ser irredutı́vel existem inteiros positivos n2 e n3 tais que
p(n 2)
x,a > 0 e p(n 3)
a,y > 0·
Então, para n ≥ n1 temos que

p(n
x,y
2 +n+n3 )
≥ p(n 2 ) (n) (n3 )
x,a pa,a pa,y > 0·
Provamos que, para qualquer par de estados x, y ∈ S, existe um inteiro positivo n0 tal que
p(n)
x,y > 0 n ≥ n0 · (1.103)
Seja agora
S 2 = {(x, y) : x, y ∈ S}·
Observemos que S 2 é um conjunto de pares ordenados de elementos de S. Consideremos a Cadeia de Markov
(Xn , Yn ) com espaço de estados S 2 e função de probabilidades de transição
p2(x0 ,y0 ),(x,y) = px0 ,x py0 ,y ·
Segue que {Xn }n≥0 e {Yn }n≥0 são, cada uma, Cadeias de Markov tendo função de probabilidades de transição p e
que as transições sucessivas da cadeia Xn e da cadeia Yn acontecem independentemente uma da outra.
Provaremos agora propriedades da Cadeia de Markov (Xn , Yn ). Em particular, provaremos que esta cadeia é
aperiódica, irredutı́vel e recorrente positiva. Posteriormente a utilizaremos para verificar as conclusões do teorema.
Sejam (x0 , y0 ) ∈ S 2 e (x, y) ∈ S 2 . Pelo resultado em (1.103) exite um n0 > 0 tal que
p(n)
x0 ,x > 0 e p(n)
y0 ,y > 0, n ≥ n0 ·
Então
p2(x0 ,y0 ),(x,y) = p(n) (n)
x0 ,x py0 ,y , n ≥ n0 ·
Concluı́mos assim que a cadeia é irredutı́vel e aperiódica.
Não é difı́cil perceber que a distribuição estacionária π2 em S 2 é definida como π2 (x0 , y0 ) = π(x0 )π(y0 ). Para
∑ ∑ ∑
π2 (x0 , y0 )p2(x0 ,y0 ),(x,y) = π(x0 )π(y0 )px0 ,x py0 ,y
(x0 ,y0 )∈ S 2 x0 ∈ S y0 ∈ S
  
∑ ∑
=  π(x0 )px0 ,x   π(y0 )py0 ,y 
x0 ∈ S y0 ∈ S
= π(x)π(y) = π2 (x, y)·
Então, a cadeia em S 2 é recorrente positiva, em particular, é recorrente.

Seja
T = min(n > 0 : Xn = Yn )·
Escolhemos a ∈ S. Dado que (Xn , Yn ) é recorrente,
T(a,a) = min[n > 0 : (Xn , Yn ) = (a, a)],
é finito com probabilidade 1. Logicamente T ≤ T(a,a) e, portanto, T é finito com probabilidade 1.

Para qualquer n ≥ 1, independentemente da distribuição de (X0 , Y0 ),
P (Xn = y, T ≤ n) = P (Yn = y, T ≤ n), y ∈ S· (1.104)
Este resultado é razoável dado que as duas cadeias são indistinguı́veis para n ≥ T . Mais especificamente, seja
1 ≤ m ≤ n. Para z ∈ S
P (Xn = y|T = m, Xm = Ym = z) =
P (Yn = y|T = m, Xm = Ym = z), (1.105)
(n−m)
dado que ambas probabilidades condicionais são iguais a pz,y . Agora, o evento {T ≤ n} pode ser escrito como
∪
{T ≤ n} = {T = m, Xm = Ym = z}, z ∈ S,
1≤m≤n
sendo os eventos {T = m, Xm = Ym = z} disjuntos. Segue de (1.105) que
P (Xn = y|T ≤ n) = P (Yn = y|T ≤ n)
e, então, o resultado em (1.104) é válido. A igualdade em (1.104) implica que
P (Xn = y) = P (Xn = y, T ≤ n) + P (Xn = y, T > n)

= P (Yn = y, T ≤ n) + P (Xn = y, T > n)
≤ P (Yn = y) + P (T > n)
e, de maneira similar, implica que

P (Yn = y) ≤ P (Xn = y) + P (T > n)·
Portanto, para n > 1
|P (Xn = y) − P (Yn = y)| ≤ P (T > n), y ∈ S· (1.106)
Dado que T é finito com probabilidade um,
lim P (T > n) = 0· (1.107)

n→∞
Concluı́mos de (1.106) e (1.107) que
lim [P (Xn = y) − P (Yn = y)] = 0, y ∈ S· (1.108)

n→∞
Utilizando o resultado em (1.108) podemos completar a demonstração. Escolhemos x ∈ S e a distribuição inicial

de (Xn , Yn ) de maneira que P (X0 = x) = 1 e
P (Y0 = y0 ) = π(y0 ), y0 ∈ S·
Dado que {Xn }n≥0 e {Yn }n≥0 ambas são Cadeias de Markov com matriz de probabilidades de transição P = (px,y ),
temos que
P (Xn = y) = p(n)
x,y , y∈ S (1.109)
e
P (Yn = y) = π(y), y∈ S (1.110)
Por conseguinte, dos resultados em (1.109) e (1.110) temos que
lim [p(n)
x,y − π(y)] = lim [P (Xn = y) − P (Yn = y)] = 0
n→∞ n→∞
e, portanto, a conclusão do Teorema 1.44 no caso aperiódico.

Vejamos agora o caso periódico. Seja C um conjunto fechado de estados irredutı́veis recorrentes positivos tal que
cada estado em C tenho perı́odo 1 e seja π a distribuição estacionária única concentrada em C. Nestas condições
concluı́mos que
1
lim p(n)
x,y = π(y) = , x, y ∈ C·
n→∞ my
Em particular, se y é um estado recorrente positivo com perı́odo 1 então, sendo C o conjunto irredutı́vel fechado
que contém y, vemos que
1
lim p(n) = · (1.111)
n→∞ y,y my
Seja {Xn }n≥0 uma Cadeia de Markov irredutı́vel recorrente positiva com perı́odo d > 1. Seja agora Ym = Xmd ,
m ≥ 0. Então, {Ym }m≥0 é uma Cadeia de Markov com matriz de probabilidades de transição Q = P d . Se y ∈ S,
então
(m) (md)
m.d.c. {m : qy,y > 0} = m.d.c {m : py,y > 0}
1 (n)
= m.d.c. {n : py,y > 0}
d
= 1·
Assim, todos os estados têm perı́odo 1 no que diz respeito à cadeia Ym .
Consideremos agora a cadeia Xn e, portanto, também a cadeia Ym começar em y. Uma vez que a cadeia Xn
retorna pela primeira vez a y, em algum múltiplo de d, segue-se que o tempo de retorno esperado a y para a cadeia
Ym é my /d, onde my é o tempo de retorno esperado a y para a cadeia Xn . Em particular, y é um estado recorrente
positivo para uma Cadeia de Markov com matriz de probabilidades de transição Q. Ao aplicar (1.111) para esta
matriz de probabilidades de transição, concluı́mos que
d
lim q (m) = = dπ(y),
m→∞ y,y my
e, portanto, que
lim p(md) = dπ(y), y ∈ S· (1.112)
m→∞ y,y
Sejam agora x e y um par de estados em S e seja
r1 = min{n : p(n)
x,y > 0}·
(r ) (n)
Então, em particular, px,y1 > 0. Demonstraremos agora que px,y > 0 somente se n − r1 for um inteiro múltiplo de
(n )
d. Escolhemos n1 de forma que py,x1 > 0. Então
(r1 +n1 ) (n1 ) (r1 )
py,y ≥ py,x px,y > 0,
(n)
e, daqui, r1 + n1 é um inteiro múltiplo de d. Se px,y > 0, então pelo mesmo argumento n + n1 é um inteiro múltiplo
de d e, por conseguinte, n − r1 também o é. Assim, n = kd + r1 para algum inteiro não negativo k.
Existe um número inteiro não negativo m1 de maneira que r1 = m1 d + r, onde 0 ≤ r < d. Concluı́mos que
p(n)
x,y = 0 a menos que n = md + r, (1.113)
para algum inteiro não negativo m. Segue então de (1.113) e de (1.32), no Teorema 1.8, que
m
∑
p(md+r)
x,y = Px (Ty = kd + r)p(m−k)d
y,y · (1.114)
k=0
Seja { (m−k)d
py,y , 0≤k≤m
am (k) = ·
0, k>m
Então, por (1.112), para cada k fixo
lim am (k) = dπ(y)·
m→∞
Aplicando o Teorema da Convergência Dominada, concluı́mos de (1.114) que

∞
∑
lim p(md+r) = dπ(y) Px (Ty = kd + r)
m→∞ x,y
k=0
= dπ(y)Px (Ty < ∞)
= dπ(y),
e, portanto, (1.102). Isto completa a demonstração do teorema.
Exemplo 1.46
No exemplo de modelo de genes (Exemplo 1.9) temos uma situação de cadeia periódica, como pode ser apreciado
olhando a matriz de probabilidades de transição
GG Gg gg
 
GG 1/2 1/2 0
P = Gg  1/4 1/2 1/4 ·
gg 0 1/2 1/2
Pode ser observado também que esta é uma cadeia regular, devido a que
GG Gg gg
 
GG 0.375 0.500 0.125
P 2 = Gg  0.250 0.500 0.250 ,
gg 0.125 0.500 0.375
do qual deduzimos que o perı́odo desta cadeia é d = 2. Não é difı́cil obter que
GG Gg gg
 
GG 0.250 0.500 0.250
lim P n = Gg  0.250 0.500 0.250 ·
n→∞
gg 0.250 0.500 0.250
Exemplo 1.47
Seja Sn a soma dos resultados que se obtém al lançar um dado balanceado n vezes. Queremos encontrar
lim P (Sn ser divisı́vel por 7)·

n→∞
Definamos o processo estocástico Xn = Sn mod 7 (divisão módulo 7), de espaço de estados S = {0, 1, · · · , 6}.
Não é difı́cil perceber que {Xn }n≥0 é uma Cadeia de Markov com matriz de probabilidades de transição
0 1 2 3 4 5 6
 1 1 1 1 1 1

0 0 6 6 6 6 6 6
 
1 16 0 1 1 1 1 1

 6 6 6 6 6 
2
6
1 1
6
0 1
6
1
6
1
6
1
6


1 
P = 3
6
1
6
1
6
0 1
6
1
6
1
6
·

 
4 16 1 1 1
0 1 1

 6 6 6 6 6 
5
6
1 1
6
1
6
1
6
1
6
0 1
6


6 16 1
6
1
6
1
6
1
6
1
6
0
O evento (Sn ser divisı́vel por 7) é idêntico ao evento (Xn = 0). Desta forma a probabilidade de que Sn seja
divisı́vel por 7, num longo perı́odo de tempo, é o tempo de estadia da cadeia a longo prazo no estado 0.
Resolvemos o problema encontrando a distribuição limite de P.
Esta é uma matriz regular e periódica, então, a distribuição estacionária é uniforme. Portanto,
1
lim P (Xn = 0) = ·
n→∞ 7
Uma observação importante.

∑ A distribuição estacionária não significa que a cadeia não está se movendo. É
(n)
importante notar que x∈ S π(x)px,y fornece as probabilidades da cadeia estar em cada um dos seus estados após
n passos, calculadas antes de ser observado o estado inicial da cadeia ou antes mesmo de quaisquer transições sa
cadeia serem observadas. Estes são diferentes das probabilidades de estar em vários estados, depois de observar o
estado inicial ou depois de observar qualquer das transições intermediárias.
Além disso, uma distribuição estacionária não implica que a Cadeia de Markov vai ficar colocada. Se uma
Cadeia de Markov começa em uma distribuição estacionária, em seguida, para cada estado x a probabilidade da
cadeia estar no estado x após n passos é a mesma do que a probabilidade de ela estar no estado x no inı́cio. Mas
a Cadeia de Markov ainda pode se mover de um estado para o próximo em cada transição. O único caso em que
uma Cadeia de Markov vai ficar parada é depois de atingir um estado absorvente. A distribuição que se concentra
exclusivamente em estados absorventes será necessariamente estacionária porque a Cadeia de Markov nunca vai se
mover se ela começar de tal distribuição. Em tais casos, toda a incerteza rodeia o estado inicial, que será também
o estado depois de cada passagem.
1.4.6 Métodos automáticos para encontrar a distribuição estacionária

O tı́tulo desta seção pode confundir, por isso, vamos esclarecer: todos as formas de encontrar a distribuição
estacionária vistos até o momento valem e são úteis. O objetivo agora é apresentar uma outra forma para encontrar
a distribuição estacionária, automática e mais suscetı́vel à programação.
De maneira matricial, podemos escrever a equação que define a distribuição estacionária como
π P = π, (1.115)
onde P é matriz de probabilidades de transição de uma Cadeia de Markov com distribuição estacionária π. A
matriz P tem sempre λ = 1 como um autovalor e e⊤ = (1, 1, · · · , 1) como um autovetor direito, devido a que,
1e = Pe. Isso decorre do fato de que todos os elementos de cada linha de P somam um.
Por outro lado, a distribuição estacionária π é um autovetor pela esquerda para o autovalor λ = 1, isto devido
a que, 1π = π P. Pode ser mostrado (Gallager, 1996) que se P corresponde a uma Cadeia de Markov irredutı́vel
aperiódica, então λ = 1 é o maior autovalor e que todos os outros autovalores são menos do que 1.
Seja agora P a matriz de transição de uma cadeia irredutı́vel aperiódica. Procedendo a encontrar P n nestas
situações, primeiro encontramos os autovalores 1 = λ1 > |λ2 | > · · · > |λK | e os autovetores direitos e1 , e2 , · · · , eK .
Definindo E como a matriz de autovetores nas colunas, temos que
 
1 0 ··· 0
0 λn2 · · · 0  −1
P = EΛn E −1 = E 0 0 · · · 0  E ·

0 0 · · · λnK
Note como todos, a menos o elemento Λ1,1 , da matriz diagonal de autovalores tende a zero conforme n aumenta.
Observe também que a primeira coluna da matriz E é um vetor todo de 1. Isto implica que a primeira linha de
E −1 contém a distribuição estacionária π. Na prática, é mais simples e mais conveniente encontrar P n .
A equação em (1.115) pode ser rescrita como
π( P − I) = 0, (1.116)
em que I é a matriz identidade, com mesma dimensão do que P, ou seja, com dimensão o número de estados em
S e 0 é um vector de zeros. O método automático no comando steadyStates no pacote de funções markovchain
resolve o sistema em (1.116) procurando o autovetor da matriz P ⊤ associado ao autovetor 1 e normalizando-o para
que some um.
Infelizmente, este sistema de equações tem muitas soluções, mesmo que haja uma distribuição estacionária. A
razão disto é que, quando π resolve o sistema, o mesmo acontece com cπ para todos os reais c, incluindo c = 0.
Mesmo que o sistema tem k equações para k variáveis, existe pelo menos uma equação redundante. No entanto,
existe também uma equação faltante. Precisamos exigir que a solução, o vector π, tenha coordenadas que somem
1. Nós podemos corrigir esses dois problemas, substituindo uma das equações no sistema original pela equação que
diz que as coordenadas de π somem 1.
Para ser mais especı́fico, definamos a matriz G como sendo P − I com a sua última coluna substituı́do por uma
coluna de uns. Em seguida, resolvemos a equação
πG = (0, 0, · · · , 1) (1.117)
Se a Cadeia de Markov é irredutı́vel, existe distribuição estacionária única, a qual vamos encontrá-la resolvendo
(1.117). Neste caso, a matriz G terá uma inversa G−1 que satisfaz
G−1 G = GG−1 = I·
A solução de (1.117) será então

π = (0, 0, · · · , 1)G−1 ,
que é facilmente visto ser a linha inferior da matriz G−1 . Vejamos estes métodos em exemplos.
Exemplo 1.48 (Um modelo de mobilidade de classe)
Um problema de interesse para sociólogos é determinar a proporção da sociedade que tem uma ocupação de
classe baixa, média ou classe alta e a influência disso não gerações futuras. Um modelo matemático possı́vel
seria supor que as transições entre classes sociais nas sucessivas gerações de uma famı́lia podem ser considerados
como transições de uma Cadeia de Markov. Ou seja, assumimos que a ocupação de uma criança depende apenas
da ocupação de seu pai ou mãe. Vamos supor que tal modelo é apropriado e que a matriz de probabilidade de
transição é dada por
Baixa M édia Alta
 
Baixa 0.45 0.48 0.07
P = M édia 0.05 0.70 0.25 ·
Alta 0.01 0.50 0.49
Ou seja, por exemplo, vamos supor que o filho de um trabalhador de classe média vai atingir a classe de
baixa renda, média ou alta renda com probabilidades respectivas de 0.05, 0.70 e 0.25.
A distribuição estacionária nesta situação é π = (0.07, 0.62, 0.31). Em outras palavras, uma sociedade na qual
a mobilidade social entre as classes pode ser descrita por uma Cadeia de Markov com matriz de probabilidade
de transição dada acima tem, no longo prazo, 7% da sua população na classe baixa de postos de trabalho, 62%
da sua população em empregos de classe média e 31% em empregos de classe alta.
estados=c("Baixa","Média","Alta")
Prob.T=matrix(c(0.45,0.48,0.07,
0.05,0.70,0.25,
0.01,0.50,0.49),
nrow=3, ncol=3, byrow=T, dimnames=list(estados,estados))
name="Mobilidade de Classe Social")
Queremos encontrar a distribuição estacionária por métodos automáticos. Apresentamos a seguir como
encontrar o vetor π das três formas descritas de encontrar a distribuição estacionária.
steadyStates(ProbT)
Baixa Média Alta
[1,] 0.06238859 0.6234403 0.3141711
Soma(ProbT,1000)/1000
Baixa Média Alta
Baixa 0.06306674 0.6232440 0.3136892
Média 0.06237333 0.6235364 0.3140903
Alta 0.06228421 0.6232886 0.3144272
Percebemos que a cadeia é regular e, portanto, ergódica ou irredutı́vel. Sabemos então que esta cadeia
é recorrente positiva. Com o comando steadyStates identificamos a distribuição estacionária por um método
automático, mais do que identificar simplesmente os estados recorrentes. Uma segunda forma automática é
utilizar a função Soma, a qual nos aproxima também ao valor de π. Vamos mostrar a seguir os passos para
chegar ao resultado programado no comando steadyStates.
eigen(t(Prob.T))$vectors[,1]
[1] -0.08901096 -0.88947376 -0.44823374
sum(eigen(t(Prob.T))$vectors[,1])
[1] -1.426718
eigen(t(Prob.T))$vectors[,1]/sum(eigen(t(Prob.T))$vectors[,1])
[1] 0.06238859 0.62344029 0.31417112
Agora apresentamos a resolução da equação (1.117), a qual constitui o terceiro procedimento comentado
para encontrar a distribuição estacionária.
G=Prob.T-diag(dim(Prob.T)[1])
G
Baixa Média Alta
Baixa -0.55 0.48 0.07
Média 0.05 -0.30 0.25
Alta 0.01 0.50 -0.51
G[,3]=1
G
Baixa Média Alta
Baixa -0.55 0.48 1
Média 0.05 -0.30 1
Alta 0.01 0.50 1
c(0,0,1)%*%solve(G)
Baixa Média Alta
[1,] 0.06238859 0.6234403 0.3141711
Como mencionado nem todas as formas de resolver a equação (1.116), acrescentando a restrição de que π some
um, funcionam. O seguinte exemplo mostra isso, em particular nesta situação não existe distribuição estacionária.
Figura 1.8: Grafo de algumas probabilidades de transição no experimento de criação de plantas.
Exemplo 1.49 (Experimento de criação de plantas)

Um botânico está estudando uma certa variedade de planta que é monoecious (tem órgãos masculinos e femininos
em flores separadas em uma única planta). Ele começa com duas plantas, as quais chamaremos de I e II. Por
polinização cruzada: cruzando I do sexo masculino com o sexo feminino de II e I do sexo feminino com II do sexo
masculino produz dois descendentes para a próxima geração. As plantas originais são destruı́das e o processo
repete-se assim que a nova geração de duas plantas está madura. Várias repetições do estudo são executados
simultaneamente. O botânico poderia estar interessado, por exemplo, na proporção de plantas que em qualquer
geração possuem cada um dos vários genótipos possı́veis para um determinado gene.
Suponha-se que o gene tem dois alelos, A e a. O genótipo de um indivı́duo será então uma das três
combinações: AA, Aa ou aa. Quando um novo indivı́duo nasce herda um dos dois alelos com probabilidade de
1/2 cada a partir de um dos pais, e a seleção do alelo herdado de cada progenitor é independente. A prole dois
obtém os seus genótipos independentemente um do outro. Por exemplo, se os pais têm genótipos AA e Aa, a
primeira prole terá A com certeza no primeiro alelo e vai ter A ou a como segundo alelo com probabilidade 1/2
cada um. Consideremos os estados desta população ser o conjunto de genótipos de dois membros da população
atual. Não vamos fazer distinção entre o conjunto {AA, Aa} e {Aa, AA}.
Há, então, seis estados e o espaço de estados é:
S = {{AA, AA}, {AA, Aa}, {AA, aa}, {Aa, Aa}, {Aa, aa}, {aa, aa}}·
Para cada estado, podemos calcular a probabilidade de que a próxima geração vai estar em cada um dos seis
estados. Por exemplo, se o estado é {AA, AA} ou {aa, aa}, a próxima geração estará no mesmo estado com
probabilidade 1. Se o estado é {AA, aa}, a próxima geração estará no estado {Aa, aa} com probabilidade 1. Os
outros três estados têm transições mais complicadas.

Se o estado atual é {Aa, Aa} então todos os outros seis estados são possı́veis na próxima geração. Para
calcular as probabilidades de transição, ajuda entender a probabilidade de que um determinado descendente
venha ter cada uma dos três genótipos. A Figura 1.8 ilustra a possı́vel herança à descendência deste estado.
Cada seta que vai para baixo na Figura 1.8 é uma possı́vel herança de um alelo e cada combinação de setas
que termina num genótipo tem probabilidade 1/4. Segue-se que a probabilidade de AA e aa são ambos 1/4,
enquanto que a probabilidade de Aa é 1/2; porque duas combinações diferentes de setas levam a essa prole.
Para que o próximo estado seja {AA, AA}, ambas proles devem ser AA independentemente, de modo que a
probabilidade de essa transição é 1/16. O mesmo argumento implica que a probabilidade de uma transição a
{aa, aa} é 1/16. Uma transição de {AA, Aa} requer uma prole seja AA, com probabilidade 1/4, e o outro seja
Aa com probabilidade 1/2. Mas os dois genótipos diferentes podem ocorrer em qualquer ordem, de modo que
a probabilidade de uma tal transição é 2 × (1/4) × (1/2) = 1/4.
Um argumento similar mostra que a transição para {Aa, aa} também tem probabilidade 1/4. Uma transição
de {AA, aa} requer uma prole ser AA, com probabilidade 1/4, e o outro para ser aa com probabilidade 1/4.
Mais uma vez, estes podem ocorrer em duas ordens, por isso toda a probabilidade é 2 × 1/4 × 1/4 = 1/8. Por
subtração, a probabilidade de uma transição para {Aa, Aa} deve ser 1-1/16-1/16-1/4-1/4-1/8 = 1/4.
A matriz de transição é apresentada abaixo, utilizando-se do comando matrix, e posteriormente transformado
em objeto markovchain.
estados=c("AA, AA","AA, Aa","AA, aa","Aa, Aa","Aa, aa","aa, aa")
Prob.T=matrix(c(1.0000,0.0000,0.0000,0.0000,0.0000,0.0000,
0.2500,0.5000,0.0000,0.2500,0.0000,0.0000,
0.0000,0.0000,0.0000,1.0000,0.0000,0.0000,
0.0625,0.2500,0.1250,0.2500,0.2500,0.0625,
0.0000,0.0000,0.0000,0.2500,0.5000,0.2500,
0.0000,0.0000,0.0000,0.0000,0.0000,1.0000),
name="Experimento de criaç~
ao de planta")
Primeiro vamos identificar os estados recorrentes e, portanto, os estados nos quais a distribuição estacionária
não é nula.
steadyStates(ProbT)
AA, AA AA, Aa AA, aa Aa, Aa Aa, aa aa, aa
[1,] 1 0 0 0 0 0
[2,] 0 0 0 0 0 1
Percebemos que os estados recorrentes são estados absorventes, logo recorrentes nulos. Nestes casos a distri-
buição estacionária é também nula.
transientStates(ProbT)
[1] "AA, Aa" "AA, aa" "Aa, Aa" "Aa, aa"
Não temos mais nada a fazer, identificamos que os estados {AA, AA} e {aa, aa} são absorventes e os outros
transientes. Logo, esta cadeia não tem distribuição estacionária. O que queremos agora é mostrar que, neste
exemplo, a forma de encontrar a distribuição estacionária utilizando a matriz G, definida em (1.117) não
funciona. Isso deve-se ao fato de que essa matriz aqui é singular e, portanto, não tem inversa.
G=Prob.T-diag(dim(Prob.T)[1])
G[,6]=1
c(0,0,0,0,0,1)%*%solve(G)
Error in solve.default(G) :
Lapack routine dgesv: system is exactly singular: U[5,5] = 0
Por último apresentamos mais um exemplo no qual a distribuição estacionária não existe.
Exemplo 1.50 (Ruı́na do jogador )
Suponha que dois jogadores A e B estão jogando um jogo um contra o outro. Seja p um determinado número
(0 < p < 1) e vamos supor que em cada jogada do jogo, a probabilidade de que jogador A vai ganhar um Real
do jogador B é p e a probabilidade de que jogador B vai ganhar um Real do jogador A é 1 − p. Suponhamos
também que a fortuna inicial do jogador A é de i Reais e que a fortuna inicial do jogador B é k − i Reais,
onde tanto i quanto k − i são inteiros positivos conhecidos. Assim, a fortuna total dos dois jogadores é k Reais.
Finalmente, suponha que os jogadores vão jogar o jogo várias vezes e de forma independente até que a fortuna
de um deles seja reduzida a 0 Reais. Outra maneira de pensar sobre o problema é que B seja um casino e A um
jogador que está determinado a sair assim que ganhar k − i Reais do casino ou quando ele for à falência, o que
ocorrer primeiro.
Vamos agora considerar este jogo a partir do ponto de vista do jogador A. Sua fortuna inicial é i Reais e em
cada jogada do jogo sua fortuna vão ser acrescida de um Real com uma probabilidade p ou diminuir por um
Real com uma probabilidade 1 − p. Se p > 1/2 o jogo é favorável a ele; caso p < 1/2 o jogo é desfavorável a
ele; e se p = 1/2 o jogo é igualmente favorável a ambos os jogadores. O jogo termina ou quando a fortuna do
jogador A atinge k Reais, caso em que o jogador B não terá nenhum dinheiro sobrando, ou quando a fortuna do
jogador A atinge 0 Reais. O problema é determinar a probabilidade de que a fortuna do jogador A vai chegar
a k Reais antes de atingir 0 Reais. Porque um dos jogadores não terá nenhum dinheiro sobrando no final do
jogo, este problema é chamado de Problema da Ruı́na do Jogador.
A sequência de valores em posse do jogador através do curso de essas jogadas forma uma Cadeia de Markov
com dois estados absorventes: 0 e k. Existem k − 1 outros estados, ou seja, S = {0, 1, , · · · , k − 1, k}. A matriz
de transição tem primeira e última fila sendo (1, 0, · · · , 0) e (0, 0, · · · , 1), respectivamente. A i-ésima linha, para
i = 1, · · · , k − 1 possui 0 em todos os lugares, exceto na coordenar i − 1 onde tem 1 − p e na coordenada i + 1,
onde tem p.
Ao contrário de outras situações, desta vez a sequência de matrizes P n converge mas não há nenhuma distri-
buição estacionária. O limite de P n tem na sua última coluna os números a0 , · · · , ak , onde ai é a probabilidade
de que a fortuna do jogador que começa com i Reais atinja k Reais antes do que atinja 0 Reais. A primeira
coluna da matriz limite tem os números 1 − a0 , · · · , 1 − ak e o resto da matriz é toda de zeros. Nesta situação
acontece o mesmo do exemplo anterior, a distribuição estacionária está concentrada nos estados absorventes.
Com as linhas de comando abaixo exemplificamos a situação particular de um jogador que atingir uma
fortuna de 5 Reais, com probabilidade de ganhar em cada jogo de p = 0.45.
estados=c("0","1","2","3","4","5")
Prob.T=matrix(c(1.00,0.00,0.00,0.00,0.00,0.00,
0.55,0.00,0.45,0.00,0.00,0.00,
0.00,0.55,0.00,0.45,0.00,0.00,
0.00,0.00,0.55,0.00,0.45,0.00,
0.00,0.00,0.00,0.55,0.00,0.45,
0.00,0.00,0.00,0.00,0.00,1.00),
name="Ruı́na do jogador")
As probabilidades de ganhar as calculamos elevando a matriz P a uma potência elevada, nesta situação
10.000; obtendo-se a resposta mostrada a seguir.
ProbT^10000
Ruı́na do jogador^10000
0 1 2 3 4 5

0 1 2 3 4 5
0 1.0000000 0 0 0 0 0.0000000
1 0.8713555 0 0 0 0 0.1286445
2 0.7141233 0 0 0 0 0.2858767
3 0.5219505 0 0 0 0 0.4780495
4 0.2870728 0 0 0 0 0.7129272
5 0.0000000 0 0 0 0 1.0000000
1.4.7 Exercı́cios
1. Seja {Xn }n≥0 uma Cadeia de Markov em S com função de transição P . Mostre que
Gn (x, y) ≤ Gn (y, y), ∀n e para x, y ∈ S·
2. Considere uma Cadeia de Markov com estados S = {0, 1, 2, 3, 4}. Suponha que P (X0 = 0) = 1 e que quando a cadeia está no
estado i, i > 0; o próximo estado é igualmente provável dentre os estados {0, 1, · · · , i − 1}. Encontre a distribuição estacionária
desta Cadeia de Markov.
3. Uma matriz de probabilidades de transição P é dita ser duplamente estocástica e a soma por colunas é também 1, isto é, se
∑
px,y = 1 ∀y ∈ S·
x∈ S
Considere uma cadeia com matriz de transição duplamente estocástica irredutı́vel, aperiódica e consistindo de M + 1 estados,
do qual S = {0, 1, 2, · · · , M }. Prove que a distribuição estacionária é dada por
1
πy = , y ∈ S·
M +1
4. Considere uma Cadeia de Markov com espaço de estados S = {0, 1, 2} e matriz de probabilidades de transição
0 1 2
 
0 0.4 0.4 0.2
1  0.3 0.4 0.3 ·
2 0.2 0.4 0.4
Mostre que esta cadeia tem uma única distribuição estacionária π e encontre-a.
5. Seja π a distribuição estacionária de uma Cadeia de Markov. Prove que se π(x) > 0 e se y é alcançável a partir de x, então
π(y) > 0.
6. Seja π a distribuição estacionária de uma Cadeia de Markov. Suponha que y e z sejam dois estados tais que, para alguma
constante c, se satisfaz que
px,y = cpx,z , x ∈ S·
Mostre que π(y) = cπ(z).
7. Considere uma Cadeia de Markov com espaço de estados os inteiros não negativos, com probabilidade de transição dada por
px,x+1 = p e px,0 = 1 − p, onde 0 < p < 1. Encontre a distribuição estacionária π e prove que é única.
8. Considere uma Cadeia de Markov com espaço de estados S = {0, 1, 2} e matriz de probabilidades de transição
0 1 2
0 0 0 1
1
1 0 0·
2 12 1
2 0
a) Mostre que esta é uma cadeia irredutı́vel.

b) Encontre o perı́odo.
c) Encontre a distribuição estacionária.
9. Considere uma Cadeia de Markov com espaço de estados S = {0, 1, 2, 3, 4} e matriz de probabilidades de transição
0 1 2 3 4
 1 2 
0 0 3 3 0 0
1 3 
1
0 0 0 4 4 
2
0 0 0 1
4
3 
4 ·
 
31 0 0 0 0
4 1 0 0 0 0
a) Mostre que esta é uma cadeia irredutı́vel.

b) Encontre o perı́odo.
c) Encontre a distribuição estacionária.
10. Cada vez que um cliente compra um tubo de pasta de dente, ele escolhe qualquer marca A ou B. Suponha que para cada compra
após a primeira, a probabilidade é de 1/3 de que ele vai escolher a mesma marca que ele escolheu em sua compra anterior e a
probabilidade é de 2/3 de que ele vai mudar de marca. Se ele é a mesma probabilidade de escolher qualquer marca A ou B em
sua primeira compra, qual é a probabilidade de que ambos os seus primeiro e segundo aquisições será a marca A e ambas as
terceira e quarta compras será a marca B?
11. Um sistema consiste de dois componentes que operam em paralelo: o sistema funciona se pelo menos um dos componentes está
operando. Em qualquer perı́odo, se os dois componentes estão em funcionamento no inicio do perı́odo, podem vir a falhar,
independentemente, durante este perı́odo com probabilidade α. Quando um componente falha, o componente restante pode
falhar durante o perı́odo com uma probabilidade mais elevada β. Há uma única oficina para realizar os reparos e leva dois
perı́odos para reparar um componente.
a) Especifique a matriz de probabilidades de transição em termos de α e β.

b) Caso α = 0.1 e β = 0.2, num perı́odo longo prazo de tempo, qual é a probabilidade do sistema permanecer operacional?
12. Sejam π0 e π1 duas distribuições estacionárias distintas para uma Cadeia de Markov.
(a) Prove que para 0 ≤ α ≤ 1, a função πα , definida como
πα (x) = (1 − α)π0 (x) + απ1 (x), x ∈ S,
é uma distribuição estacionária.

(b) Mostre que distintos valores de α implicam em distribuições estacionárias πα distintas. Para demonstrar isso sugere-se
escolher x0 ∈ S tal que π0 (x0 ) ̸= π1 (x0 ) e prove que πα(x0 ) = πβ (x0 ) implica que α = β.
13. Uma partı́cula se move sobre um cı́rculo através de pontos que foram marcados 0, 1, 2, 3, 4 no sentido horário. Em cada passo,
tem uma probabilidade p da partı́cula se mover para a direita, sentido horário, e probabilidade 1−p de mover-se para a esquerda,
no sentido anti-horário. Seja Xn a localização da partı́cula sobre o cı́rculo após o n-ésimo passo. O processo {Xn }n≥0 é uma
Cadeia de Markov.
(a) Encontre a matriz de probabilidades de transição.

(b) Encontre a distribuição estacionária.
14. Considere uma Cadeia de Markov com espaço de estados S = {0, 1, 2, · · · } e função de transição:
p0,j = fj e pj,j−1 = 1,
onde 1 = f1 + f2 + · · · + fj + · · · .
(a) Esboçar o grafo da matriz de transição.

(b) Determine se a cadeia é irredutı́vel.
(c) Determine se o estado 0 é transiente, recorrente nulo ou recorrente positivo.
(d) Encontre a expressão da distribuição estacionária, se existir.
15. Considere uma Cadeia de Markov com espaço de estados S = {1, 2, · · · } e como função de transição a seguinte:
pj,j+1 = aj e pj,1 = 1 − aj , 0 < aj < 1·
(a) Esboçar o grafo da matriz de transição.

(b) Determine se a cadeia é irredutı́vel.
(c) Determine se o estado 1 é transiente, recorrente nulo ou recorrente positivo.
(d) Encontre a expressão da distribuição estacionária, se existir.
(e) Forneça respostas especı́ficas aos itens (c) e (d) se:
(i) aj = 1/2, ∀j, (ii) aj = (j − 1)/j, ∀j, (iii) aj = 1/j, ∀j, (iv) aj = (1/2)j , ∀j, (v) aj = 1 − (1/2)j , ∀j·

Cap Itulo 1 Cadeias de Markov: 1.1 Introdu C Ao

Enviado por

Dados do documento

Descrição original:

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Cap Itulo 1 Cadeias de Markov: 1.1 Introdu C Ao

Enviado por

Direitos autorais:

Formatos disponíveis

Capı́tulo 1

Deﬁnição 1.2 (Propriedade de Markov )

P (Xn+1 = xn+1 |X0 = x0 , · · · , Xn = xn ) = P (Xn+1 = xn+1 |Xn = xn ), (1.1)

P (Xn+1 , · · · , Xn+m |X0 , X1 , · · · , Xn ) = P (Xn+1 , · · · , Xn+m |Xn )·

Deﬁnição 1.4 (Cadeia de Markov )

1.1.1 Cadeias de Markov

P (Xn+1 = y|Xn = x), (1.2)

se conhece como probabilidade de transição em um passo ou simplesmente probabilidade de transição. Também

P (Xn+1 = y|Xn = x) = P (X1 = y|X0 = x),

No caso trivial de α = β = 0 é claro que para todo n

P (Xn = 0) = π0 (0) e P (Xn = 1) = π0 (1)· (1.4)

Concluı́mos de (1.4) que

e por consequência que [ ]

Então, se a cadeia {Xn } têm como distribuição inicial

temos, para todo n, que

Por exemplo, seja n = 2 e sejam x0 , x1 , · · · , xn cada um igual a 0 ou 1. Então

P (X2 = x2 |X0 = x0 , X1 = x1 ) = P (X2 = x2 |X1 = x1 ),

a qual é determinada por α e β. Neste caso

Na Tabela 1.1 apresentamos a distribuição conjunta das variáveis X0 , X1 e X2 segundo os valores de x0 , x1

Tabela 1.1: Probabilidade conjunta de X0 , X1 , X2 no Exemplo 1.1

1.1.2 Caracterı́sticas das Cadeias de Markov

px,y = P (X1 = y|X0 = x), x, y ∈ S, (1.8)

é chamada de função de transição da cadeia.

P (Xn+1 = y|X0 = x0 , · · · , Xn−1 = xn−1 , Xn = x) = px,y · (1.10)

π0 (x) = P (X0 = x) x ∈ S, (1.13)

é chamada de probabilidade inicial da cadeia.

Fica implı́cito que a dimensão do vetor π0 é igual ao número de estados ou elementos em S.

P (X0 = x0 , · · · , Xn = xn ) = π0 (x0 )px0 ,x1 · · · pxn−1 ,xn · (1.17)

de elementos as probabilidades de transição entre os estados, escritas como

px,y = P (X1 = y|X0 = x), x, y ∈ S· (1.19)

Exemplo 1.3 (Cadeia com dois estados. Continuação)

1.1.3 Exemplos de Cadeias de Markov

Exemplo 1.4 (Cadeia com dois estados)

b) A sequência Xn = máx{ξ1 , ξ2 , · · · , ξn } é uma Cadeia de Markov com matriz de transição

Observemos, por exemplo, que

P (Xn+1 = 0|Xn = 0) = P (máx{ξ1 , · · · , ξn+1 } = 0|Xn = 0),

P (máx{Xn , ξn+1 } = 0|Xn = 0) = P (ξn+1 = 0) = α0 ·

c) O processo Xn = ξ1 + ξ2 + · · · + ξn é uma Cadeia de Markov com matriz de transição

Exemplo 1.6 (Fast food )

Figura 1.3: Grafo das probabilidades de transição.

Exemplo 1.8 (Google)

Figura 1.4: Grafo das probabilidades de transição num buscador.

Figura 1.5: A geração que segue {Aa, Aa}.

Exemplo 1.9 (Experiência de criação de plantas)

Exemplo 1.10 (Problema de gerenciamento)

Ordens insatisfeitas Estoque zero Estoque de 1 u.m.

onde X1 , · · · , Xn são variáveis aleatórias independentes e igualmente distribuı́das.

P (Xn = j|Xn1 = i1 , · · · , Xnk = ik ) = P (Xn = j|Xnk = ik ),

qualquer sejam n1 < n2 < · · · < nk < n.

P (X0 = x0 |X1 = x1 , · · · , Xn = xn ) = P (X0 = x0 |X1 = x1 )·

1.2 Cálculos com a função de transição

P (Xn+1 = xn+1 , · · · , Xn+m = xn+m |X0 = x0 , · · · , Xn = xn )

Escrevendo convenientemente o resultado do Teorema 1.4 temos, da expressão em (1.20), que

Exemplo 1.11 (Fila de servidor único)

P (Xn+m = y|X0 ∈ A0 , · · · , Xn−1 ∈ An−1 , Xn = x) = p(m)

Em particular, assumindo A0 , · · · , An−1 = S, vemos que

Demonstração : Observemos que, da expressão (1.25), segue que

P (Xn+m = y|X0 = x, Xn = z) = p(m)

da expressão anterior e do resultado em (1.28) concluı́mos a demonstração.

E em termos da distribuição inicial? como escrever a distribuição de Xn em termos da distribuição inicial π0 e

Demonstração : Dado que ∑

Um método alternativo de calcularmos a distribuição de Xn é obtido da seguinte maneira. Observe que