29/08/2023, 10:55 Cadeias de Markov

Cadeias de Markov
Última atualização: 22 de novembro de 2021.

Neste artigo vamos estudar uma classe de processos aleatórios ou

estocásticos que possuem uma determinada caracteríıstica que pode,
grosseiramente, ser descrita como perda de memória. Estes
processos aparecem em inúmeras aplicações, incluindo sistemas de
filas, redes de comunicação de computadores, sistemas biológicos e
uma grande variedade de outras aplicações. Aplicaçõoes de Cadeias
de Markov em medicina são bastante comuns e se tornaram uma
ferramenta importante de tomada de decisão médica. Como resultado
da sua ocorrência frequente, estes processos têm sido estudados
extensivamente obtendo-se uma teoria rica a qual permite resolver os
problemas relacionados com estes processos.

Um processo estocástico é um modelo matemático que evolui ao

longo do tempo de forma probabilística e aqui vamos estudar um tipo
especial de processo estocástico, chamado de Cadeia de Markov, onde
o resultado de um experimento depende apenas do resultado do
experimento anterior. Em outras palavras, o estado seguinte do
sistema depende apenas do estado atual e não dos estados
anteriores.

As Cadeias de Markov foram assim nomeados após os estudos do

matemático russo Andrei A. Markov, que começou a teoria de
processos estocásticos. Andrei Andreyevich Markov (1856-1922) foi
um matemático russo que realizou numerosos estudos na teoria da
probabilidade. Provou o Teorema Central do Limite. Markov é
lembrado pelo seu estudo de Cadeias de Markov. Referências clássicas
como Ross (1996), Hoel, Port & Stone (1972) e Kemeny & Snell
(1976) foram consultadas para redigirmos este texto.

Sequências de variáveis aleatórias que evoluem de alguma maneira

no tempo servem como descriçãao informal do conceito de processo
estocástico. Apresentamos a seguir a definição formal.

Definição 1 (Processo aleatório).

Um processo aleatório é uma família {Ct }t∈T de variáveis

aleatórias independentes ou não, definidas no mesmo espaço de
probabilidade, indexadas pelo conjunto T .

leg.ufpr.br/~lucambio/CM/CM.html 1/7
29/08/2023, 10:55 Cadeias de Markov

Os processos estocástico podem ser classificados de diversas

maneiras. Aqui estamos interessados em duas dessas classificações:
a primeira é segundo as variáveis que o compõem, sejam discretas ou
contínuas, identificando os processos estocásticos como discretos ou
contínuos, respectivamente. Uma outra classificação é segundo o
conjunto de índices. Caso o conjunto T seja um subconjunto dos
números inteiros ou naturais, chamamos o processo estocástico de
processo a tempo discreto, em outras situações chama-se de
processo a tempo contínuo, por exemplo, estamos no caso de
processos a tempo conínuo quando T = R ou T = [0, +∞) . Em
qualquer caso, pensamos em um processo estocástico como uma
família de variáveis aleatórias que evoluem com o tempo. Estas
variáveis podem mesmo ser independentes, o qual seria um caso
muito especial e de pouco interesse. Pelo contrário, estamos
preocupados com uma situação geral, e esperamos realista, de
modelos para a evolução aleatória. Um destes modelos satisfaz a
seguinte propriedade: condicionado em seus valores no n-ésimo

instante, seus valores futuros não dependem de seus valores

anteriores. Esta propriedade provou ser muito útil na sua análise e é
a teoria geral dos processos com essa propriedade à qual voltamos
nossa atenção agora.

Considere um processo estocástico discreto {Cn } com espaço

amostral S , finito ou infinito enumerável. Pensemos C0 , C1 , ⋯ , Cn−1
como o passado, Cn como o presente e Cn+1 , Cn+2 , ⋯ como o
futuro do processo em relação ao tempo n. A lei de evolução de um
processo estocástico é frequentemente pensada em termos da
distribuição condicional do futuro, dado o presente e os estados
anteriores do processo.

Uma vez que estamos interessados em sistemas não-determinísticos,

pensamos {Cn } como variáveis aleatórias definidas em um espaço de
probabilidade comum. Pouco pode ser dito sobre essas variáveis
aleatórias, a menos que alguma estrutura adicional seja imposta a
eles. Uma propriedade útil dos processos estocásticos, que nos
permite obter facilmente as probabilidades conjuntas é a propriedade
de Markov. Basicamente, um processo estocástico é dito ser
Markoviano se o futuro do processo, dado o presente, é independente
do passado.

Definição 2 (Propriedade de Markov).

Seja {Cn } um processo estocástico discreto com espaço amostral

S, finito ou infinito enumerável. Dizemos que {Cn } satisfaz a
propriedade de Markov se dado o estado atual, os estados

leg.ufpr.br/~lucambio/CM/CM.html 2/7
29/08/2023, 10:55 Cadeias de Markov

passados não têm influência sobre o futuro. A propriedade de

Markov é definida precisamente pela exigência de que

P (Cn+1 = c n+1 | C0 = c 0 , ⋯ , Cn = c n ) = P (Cn+1 = c n+1 | Cn = c n ),

para qualquer seja a escolha do número natural n e os números

c 0 , c 1 , ⋯ , c n+1 ∈ S . O espaço amostral S , de um processo

estocástico discreto a tempo discreto, é chamado de espaço de

estados.

Andrei Markov obteve os primeiros resultados para processos

estocásticos discretos finitos em 1906. Uma generalização para
espaços de estados infinitos enumeráveis foi dada por Kolmogorov em
1936. Andrei Nikolaevich Kolmogorov (1903-1987) foi um matemático
soviético. Kolmogorov participou das principais descobertas científicas
do século XX nas áreas de probabilidade e estatística e na teoria da
informação. A definição desta propriedade, também chamada de
memória Markoviana, é que os estados anteriores são irrelevantes
para a predição dos estados seguintes, desde que o estado atual seja
conhecido.

Definição 3.

Um processo estocástico {Cn } discreto satisfaz a propriedade de

Markov se, para cada n e m , a distribuição condicional de
Cn+1 , ⋯ , Cn+m dado C0 , C1 , ⋯ , Cn é a mesma que a sua

distribuição condicional dado Cn .

Isto quer dizer que, um processo estocástico satisfazendo a

propriedade de Markov satisfaz que

P (Cn+1 , ⋯ , Cn+m | C0 , C1 , ⋯ , Cn ) = P (Cn+1 , ⋯ , Cn+m | Cn )⋅

Definição 4 (Cadeias de Markov).

Um processo estocástico {Cn } que satisfaz a propriedade de

Markov é chamado de processo de Markov. Se, além disso, o
processo estocástico for a tempo discreto e formado por variáveis
aleatórias discretas o processo de Markov é chamado Cadeia de
Markov.

Observemos que ao definirmos Cadeia de Markov nada é dito acerca

do espaço de estados. Agora, como as variáveis aleatórias

leg.ufpr.br/~lucambio/CM/CM.html 3/7
29/08/2023, 10:55 Cadeias de Markov

C0 , C1 , ⋯ , Cn , ⋯ que formam a Cadeia de Markov são discretas,

então o espaço de estados S é finito ou infinito enumerável.

O estudo das Cadeias de Markov é válido a partir de dois pontos de

vista. Em primeiro lugar, existe uma ampla teoria desenvolvida e, em
segundo lugar, há um grande número de sistemas que surgem na
prática que podem ser modelados desta forma, de modo existirem
muitas aplicações.

Como suporte computacional utilizamos a linguagem de programação

e ambiente de desenvolvimento integrado para cálculos estatísticos e
gráficos R, última versão 3.5.2, Eggshell Igloo de 20 de dezembro de
2018.

Parte I. Introdução
1. Cadeias de Markov
2. Características
3. Exemplos
4. Exercícios

Parte II. Cálculos com a função de transição

1. Tempo de primeira visita
2. Classificação dos estados
3. Classificação das cadeias
4. Exercícios

Parte III: Decomposição do espaço de estados

1. Probabilidade de absorção
2. Cadeias de Markov absorventes
3. Cadeias de Markov regulares
4. Exercícios

Parte IV. Distribuição estacionária

1. Propriedades
2. Número esperado de visitas a um estado recorrente
3. Estados recorrentes nulos e recorrentes positivos
4. Existência e unicidade
5. Convergência à distribuição estacionária
6. Métodos automáticos
7. Exercícios

Parte V. Inferência em Cadeias de Markov

1. Estimação da matriz de transição
1. Intervalos de observação coincidentes
leg.ufpr.br/~lucambio/CM/CM.html 4/7
29/08/2023, 10:55 Cadeias de Markov

2. Intervalos de observação não coincidentes

2. Testes para verificar a ordem da cadeia

1. Teste aproximado

Referências

Anderson, T.W. & Goodman, L.A. (1957). Statistical Inference

about Markov Chains. Annals of Mathematical Statistics, 28(1),
89-110.
Avery, P.J. & Henderson, D.A. (1999). Fitting Markov chain
models to discrete state series such as DNA sequences. Applied
Statistics, 48, 53-61.
Basawa, I.V. & Prakasa Rao, B.S. (1980). Statistical Inference for
Stochastic Processes. Academic Press, London.
Besag, J. & Mondal, C. (2013). Exact goodness-of-fit teet for
Markov chains. Biometrics, 69, 488-496.
Billingsley, P. (1961a). Statistical Inference for Markov Processes.
Chicago: University Press.
Billingsley, P. (1961b). Statistical methods in Markov chains.
Annals of Mathematical Statistics, 32, 13-39.
Ching, W.K., Fung, E.S. & Ng, M.K. (2002). A multivariate
Markov chain model for categorical data sequences and its
applications in demand predictions. IMA Journal of Management
Mathematics, 13, 187-199.
Ching, W.K., Ng, M.K. & Fung, E.S. (2008). Higher-order
multivariate Markov chain and their applications. Linear Algebra
and its Applications, 428, 492-507.
Ching, W.-K., Huang, X., Ng, M.K. & Siu, T.K. (2013). Markov
Chains Models, Algorithms and Applications. Springer.
Cochran, W.C. (1952). The χ2 test of goodness of fit. Annals of
Mathematical Statistics, 23(3), 315-345.
Dempster, A.P., Laird, N.M., Rubin, D.B. (1977). Maximum
likelihood from incomplete data via the EM algorithm. Journal of
the Royal Statistical Society, 39, 1-38.
Doob, J.L. (1953). Stochastic Processes. New York, Wiley.
Doubleday, K.J. & Esunge, J.N. (2011). Application of Markov
chains to stock trends. Journal of Mathematics and Statistics,
7(2), 103-106.
Feres, R (2007). Notes for Math 450 MATLAB Listings for Markov
Chains.
URL http://www.math.wustl.edu/~feres/Math450Lect04.pdf.

leg.ufpr.br/~lucambio/CM/CM.html 5/7
29/08/2023, 10:55 Cadeias de Markov

Fox, B.L. and Landi, D.M. (1968). Scientific Applications: An

algorithm for identifying the ergodic subchains and transient
states of a stochastic matrix. Communications of the ACM,
Volume 11, Issue 9, 619-621.
Gabriel, K.R. & Neumann, J. (1962). A Markov Chain Model for
Daily Rainfall Occurrence at Tel Aviv. Quarterly Journal of the
Royal Meteorological Society, 88, 90-95.
Gallager, R.G. (1996). Discrete Stochastic Processes. Kluwer
Academic Press, Boston.
Giorgio, A.S. (2015). markovchain: discrete time Markov chains
made easy. R package version 0.2.
Hoel, P.G., Port, S.C. & Stone, C.J. (1972). Introduction to
Stochastic Processes. Houghton Mifflin Company.
Jacobsen, M. (1982). Statistical Analysis of Counting Processes.
Lecture Notes in Statistics 12. Springer-Verlag, New York.
Kemeny, J.G & Snell, J.L. (1976). Finite Markov Chain. Springer-
Verlag.
Langville, A.N. & Meyer, C.D. (2011). Google's PageRank and
beyond: the science of search engine rankings. Princeton
University Press.
Miller, D.K & Homan, S.M. (1994). Determining transition
probabilities: confusions and suggestions. Medical Decision
Making, 14, 52-58.
Page, L., Brin, S., Motwani, R. & Winograd, T. (1998). The
PageRank citation ranking: Bringing order to the Web. In
Proceedings of the 7th International World Wide Web
Conference, pages 161-172, Brisbane, Australia.
Pethel, S.D. & Hahs, D.W. (2014). Exact significance test for
Markov order. Physica D, 269, 42-47.
R Core Team (2014). R: A Language and Environment for
Statistical Computing. R Foundation for Statistical Computing,
Vienna, Austria.
Raftery, A. (1985). A model for high-order Markov chains.
Journal of the Royal Statistical Society, 47, 528-539.
Ross, S.M. (1996). Stochastic Processes. John Wiley & Sons,
Inc., second edition.
Skuriat-Olechnowska, Monika (2005). Statistical inference and
hypothesis testing for Markov chains with interval censoring.
Application to bridge condition data in the Netherlands. Ph.D.
thesis, Delft University of Technology, Delft, The Netherlands.
Whittle, P. (1955). Some distribution and moment formulae for
the Markov chain. Journal of the Royal Statistical Society, 17,
235-242.
Zucchini, W. & MacDonald, I.L. (2009). Hidden Markov Models for
Time Series. An introduction using R. Chapman & Hall/CRC.

leg.ufpr.br/~lucambio/CM/CM.html 6/7
29/08/2023, 10:55 Cadeias de Markov

leg.ufpr.br/~lucambio/CM/CM.html 7/7