UNIVERSIDADE FEDERAL DE SÃO JOÃO DEL-REI

ENGENHARIA DE TELECOMUNICAÇÕES

WILSON DE PAULA ALVES

164300004

RESUMO
CADEIAS DE MARKOV

OURO BRANCO – MG
2018
 A cadeia de Markov é um processo estocástico que pode ser explicado como tenso seu estado
futuro depender apenas do seu estado atual, e como outra característica é os estados passados não
influenciarem no estado futuro. O nome cadeia de Markov foi dado em homenagem ao matemático russo
Andrey Markov.

Um processo é dito ser um Processo Markoviano se:

𝑃 [𝑋𝑡𝑘+1 ≤ 𝑥𝑘+1 | 𝑋𝑡𝑘 = 𝑥𝑘 , 𝑋𝑡𝑘−1 = 𝑥𝑘−1 , … 𝑋(𝑡1) = 𝑥1 , 𝑋(𝑡0 ) = 𝑥0 ] = 𝑃[𝑋(𝑡𝑘+1𝑠 )

≤ 𝑥𝑘+1 | 𝑋(𝑡𝑘) = 𝑥𝑘 ]

𝑝𝑎𝑟𝑎 𝑡0 ≤ 𝑡1 ≤ ⋯ 𝑡𝑘 ≤ 𝑡𝑘+1 = 0,1 … 𝑒 𝑡𝑜𝑑𝑎 𝑠𝑒𝑞𝑢ê𝑛𝑐𝑖𝑎 𝑘0 𝑘1 … , 𝑘𝑡−1 , 𝑘𝑡 , 𝑘𝑡+1

Essa expressão pode ser traduzida como a probabilidade condicional de qualquer futuro evento,
dado qualquer evento passado e o estado presente 𝑋𝑡𝑘 = 𝑥𝑘 , é independente do evento passado e
depende somente do estado presente.

Este tipo de Processo Estocástico é também denominado de memoryless process (processo sem
memória), uma vez que o passado é "esquecido" (desprezado).

As probabilidades condicionais 𝑃 [𝑋𝑡𝑘+1 = 𝑥𝑘+1 | 𝑋𝑡𝑘 = 𝑥𝑘 , são denominadas probabilidades

de transição e representam, assim, a probabilidade do estado 𝑋𝑡𝑘+1 ser 𝑥𝑘+1 no instante 𝑡𝑘+1 dado que
o estado 𝑋𝑡𝑘 é 𝑥𝑘 no instante 𝑡𝑘 .