UNIVERSIDADE DE PERNAMBUCO

ESCOLA POLITCNICA

PROCESSOS DE MARKOV

Discentes:

Amanda Gomes
Vaneide Santiago
Helena
Victor

Turma: EX
Docente: Ulysses
Disciplina: Processos Estocsticos

RECIFE/ PE
2014

SUMRIO

1.

Introduo______________________________________________________3

2.

Modelos de Markov______________________________________________4

3.

Cadeias de Markov_______________________________________________4

4.

Modelos de Markov Ocultos_______________________________________6

5.

Probabilidades limite_____________________________________________7

6.

Passeios aleatrios________________________________________________8

7.

Bibliografia____________________________________________________10

1.

Introduo

Um processo de Markov um processo estocstico cujo comportamento dinmico tal

que as distribuies de probabilidade para o seu desenvolvimento futuro depende
somente do estado presente, no levando em considerao como o processo chegou em
tal estado.
Os processos markovianos so modelados formalmente por sistemas de transies
de estados, onde os estados so representados em termos de seus vetores probabilsticos,
que podem variar no espao temporal (discreto ou contnuo), e as transies entre
estados so probabilsticas e dependem apenas do estado corrente.
Atualmente cadeias de markov tem sido estudadas e utilizadas em diversas reas do
conhecimento como, por exemplo, cincias biolgicas, sociais e administrativas.
Probabilidades ligadas a jogos, evoluo de populaes e resultados sobre teoria de filas
so algumas aplicaes.

2.

Modelos de Markov

Um modelo de Markov um sistema de transies de estados, onde a probabilidade do

sistema estar em um certo estado futuro depende apenas do estado corrente do sistema.
2.1. Cadeias de Markov
Processo de Markov um tipo especial de processo estocstico onde as distribuies de
probabilidade para o passos futuros do processo dependem somente do estado presente,
desconsiderando como o processo chegou a tal estado. Se o espao de estados discreto
(enumervel), ento o modelo de Markov denominado Cadeia de Markov.
Um processo estocstico uma coleo de variveis randmicas indexadas por
elementos pertencentes a um determinado intervalo de tempo.
Definio 2.1. Seja o processo estocstico {Xn, n = 0, 1, 2, } em tempo discreto. As
variveis Xn possuem possveis valores num conjunto E finito ou infinito
enumervel, E chama-se conjunto de estados ou espao de estados. Xn = i representa
que o processo est no estado i no tempo n. Xn cadeia de Markov se

Ou seja, a chance de estar no instante n+1 no estado j depende somente do estado no

instante n, mas independe de toda a histria do processo (estados X0, X1, , Xn1).
Esta propriedade chama-se propriedade markoviana.

Definio 2.2. Se pij e a probabilidade de transio do estado xi(t) para o estado xj(t+1),
ento a matriz N N, dada por P = [pij], denomina-se matriz de transio de estados da
cadeia de Markov.

2.2. Classificao dos estados de uma Cadeia de markov

Estado acessvel: Um estado j acessvel do estado i, se existe n 0 tal que

. Em outras palavras, se for possvel chegar ao estado j saindo do estado i, ento

j acessvel a partir de i. Mas

Desse modo, qualquer estado i acessvel dele mesmo.

Estados comunicveis: Dizemos que dois estados se comunicam se cada um for

acessvel a partir do outro. A relao de comunio no espao de estados uma relao

de equivalncia, pois satisfaz as seguintes condies:

Reflexiva: Todo estado i se comunica com ele mesmo: (i i), pois

Simtrica: Se o estado i se comunica com o estado j, o estado j se comunica

com o estado i: (i j) (j i).

Transitiva: Se o estado i se comunica com o estado j, e o estado j comunica com

o estado k, ento o estado i comunica com o estado k: (i j) , (j k) (i k) .

Estado absorvente: Um estado xi de uma cadeia de Markov e denominado de

estado absorvente se, uma vez nesse estado, e impossvel sair dele.

Todo estado absorvente recorrente.

Todo estado absorvente pertence a uma classe exclusiva. C = {i} i absorvente.

Definio 2.3. Um conjunto de estados de uma cadeia de Markov forma uma classe
C, se quaisquer dois estados desse conjunto se comuniquem, e quaisquer dois estados
comunicveis pertencem a mesma classe. Logo, se h duas classes para uma Cadeia de
Markov, ento elas so disjuntas (C1 C2 = ) ou idnticas (C1 C2).
Definio 2.4. Cadeia de Markov Xn irredutvel uma cadeia em que todos os estados
formam apenas uma classe.

Seja P a matriz de transio de uma cadeia de Markov com k estados

absorventes, ento:

A matriz cannica da cadeia e dada por:

A matriz fundamental e obtida por:

A matriz de probabilidade de absoro e calculada como o produto:

onde Ik e uma matriz diagonal unitria k k que representa os k estados

absorventes, uma matriz nula, Psa representa as probabilidades de
transio de qualquer estado para todos os estados absorventes, Pss representa
as probabilidades de transio entre todos os estados no absorventes, e aij a
probabilidade de que o sistema venha a estar no estado absorvente xj (t), para
algum tempo t, dado que esteja inicialmente no estado no absorvente xi.

1.

Modelos de Markov Ocultos

Em alguns casos existe a possibilidade de que se tenha uma descrio incompleta do

ambiente em que ocorre um processo Markoviano, onde o espao de estados e
desconhecido. Nestes casos, possvel definir um modelo de Markov considerando uma
aproximao desse espao. Modelos deste tipo so denominados Modelos de Markov
Ocultos. Pode-se pensar nesse tipo de modelo como um autmato finito (no
determinstico) com sada, cujas transies so vazias e probabilsticas, sendo que, em
cada estado poder haver emisso de smbolos (itens observveis) segundo uma certa
probabilidade.
Exemplo: Suponha que existem N urnas contendo L bolas coloridas (preto, branco e
cinza). Uma pessoa inicia por uma das urnas, retira uma bola e observa a sua cor,
recoloca-a na urna, e vai para outra urna ou permanece na mesma urna, com uma certa
probabilidade, e toma outra bola, e assim sucessivamente. O processo termina aps W
sequencias de passos deste tipo. Considere uma configurao especfica de N = 2 urnas
e um tempo de observao W = 3, como mostra a figura abaixo, e uma distribuio de
probabilidade dada por:

Definio 3.1. Seja Si(t) a probabilidade de que um processo de Markov esteja em um

estado xi no tempo t. Ento o vetor s(t) denominado de vetor de distribuio de
probabilidades de estado da cadeia de Markov no tempo t.

A matriz B define as probabilidades das possveis observaes para cada estado:

A matriz das probabilidades de transio de estado dada por:

2.

Probabilidades limite

Para um espao de estados discretos, as integraes na probabilidade de transio

de k passos so somatrios, e podem ser calculados como a k-sima potncia da matriz
de transio. Isto , se P a matriz de transio para um passo, ento Pk a matriz de
transio para a transio de k passos.
A distribuio estacionria

o vetor que satisfaz a equao:

onde
o vetor transposto de . Em outras palavras, a distribuio estacionria
o autovetor (vetor prprio) esquerdo da matriz de transio, associado com
o autovalor(valor prprio) 1.
Como consequncia, nem a existncia nem a unicidade de distribuio estacionria
garantida para uma matriz de transio qualquer P. Contudo, se P irredutvel e
aperidica, ento existe uma distribuio estacionria . Alm disso, Pk converge para

uma matriz na qual cada linha a (transposta da) distribuio estacionria

dada por:

onde

, que

o vetor coluna com todas as entradas iguais a 1.

Isto significa que se ns simularmos ou observamos uma caminhada aleatria com

matriz de transio P, ento a probabilidade de longo prazo de que o indivduo que faz a
caminhada esteja em um certo estado independente do estado em que essa caminhada
comeou, e definida pela distribuio estacionria. A caminhada aleatria "ignora" o
passado. Em suma, cadeias de Markov so o passo seguinte depois dos processos sem
memria (isto , uma sequncia de variveis aleatrias independentes distribudas
uniformemente).
Uma matriz de transio que positiva (isto , todo o elemento da matriz positivo)
irredutvel e aperidica. Uma matriz uma matriz estocstica se e somente se uma
matriz de probabilidades de transio de uma cadeia de Markov.
Um caso especial de probabilidade de transio independente do passado conhecido
como o esquema de Bernoulli.

3.

Passeios aleatrios

Sejam X1, X2, ...variveis aleatrias independentes e identicamente distribudas sendo

que

Temos um passeio aleatrio simples. E se p = q temos um passeio aleatrio simples

simtrico.

Tempo de Primeira Passagem

O tempo da primeira passagem o nmero de transies que o processo d para ir de i

para k. Considere um passeio aleatrio no qual S0 = i. O tempo de primeira passagem
dado por

Quando i = k, a varivel aleatria

chamada tempo de recorrncia de k.

O tempo de primeira passagem de passeios aleatrios simples possui uma propriedade

importante: os passos depois da primeira passagem em k independente das passagens
anteriores. Assim,

sendo que T0,1 e T1,2 so independentes e possuem a mesma distribuio j que as Xi

so identicamente distribudas.

Range

O range Rn do passeio a quantidade de valores distintos em (S0, S1, , Sn).

Tempo de parada

Sejam X1, X2, uma sequncia de variveis aleatrias independentes. Uma varivel
aleatria N definida tempo de parada para esta sequencia se o evento {N=n}
independente de

para todo n=1, 2, ... .

1.

Aplicaes

6.1. Aplicaes de cadeia de Markov para anlise de filtros em cascata

Nesta seo, deseja-se verificar se possvel simplicar o modelo, aproximando o

modelo completo de um filtro de segunda ordem por um modelo com dois filtros de
primeira ordem em cascata, considerando cada termo da cascata separadamente. O que
torna essa abordagem interessante a reduo do nmero de estados (que no modelo de
segunda ordem correnponde a N e no de primeira ordem, a N para cada filtro da
cascata, com N = 2^B), possibilitando a reduo do nmero de operaes para a
obteno da f.d.p. da sada do filtro.
Para a comparao, so analisadas implementaes passa-tudo e passa-baixa realizadas
em cascata, que so comparadas aos filtros de segunda ordem equivalentes. A posio
dos filtros da cascata variada, revezando a posio dos filtros com maiores e menores
plos e zeros. O intuito investigar:
1. Se para filtros passa-tudo com entrada descorrelacionada, o modelo com filtros em
cascatas pode ser uma boa alternativa ao modelo de segunda ordem. Isso porque para
filtros passa-tudo, se a entrada for descorrelacionada, a sada tambm
descorrelacionada. Nesse caso, a sada do primeiro filtro, que tambm a entrada do
segundo filtro da cascata, se mantm descorrelacionada, o que permitiria usar os
modelos desenvolvidos nas sees anteriores como uma aproximao razovel, j que
esses modelos pressupem entrada iid. Com isso, cada filtro poderia ser analisado com
uma matriz de estados prpria. Note que o modelo de cascata de filtros uma
simplificao, pois o modelo desenvolvido anteriormente exigiria que a entrada do
segundo filtro fosse iid, no apenas descorrelacionada.
2. Se para filtros passa-baixa, a abordagem em cascata seria razovel quando plos e
zeros esto bem prximos da circunferncia unitria, j que entrada descorrelacionada
no implica sada descorrelacionada nesses filhos.
Para encontrar a f.d.p. da sada da cascata de filtros, inicialmente calcula-se a matriz de
Markov P1 para o filho mais prximo do sinal de entrada x(n), que possui uma f.d.p. px.
Considerando uma condio inicial PICI1, encontrado um vetor PI= P1 PICI1, uqe
ser usado como f.d.p. de entrada para o segundo filtro. Com PI, possvel calcular a
matriz de Markov do segundo filtro, P2. Usando uma condio inicial PICI2, encontrase, por fim, a densidade de probabilidade da sada PIOUT = P2PICI2. Essa sequncia de
passos deve ser relacionada de forma iterativa para que a densidade de probabilidade
dos estados correspondentes sada possa ser encontrada aps n iteraes. Nessa
situao, as matrizes P1 e P2 apresentam dimenso de N X N elementos cada uma e a
f.d.p. da sada correspondente a um vetor de dimenso N X 1. Em regime, a distribuio
de probabilidades da sada do primeiro filtro fica estvel, e a matriz P2 tambm se

estabiliza. Para simplificar os clculos possvel calcular a matriz P2 somente para o

caso de regime permanente.
Nesse caso, como existem N estados, a f.d.p. da sada descrita por um vetor de
dimenso N X 1. Para tornar a f.d.p. da sada do modelo de segunda ordem compatvel
do modelo da cascata de filtros, as probabilidades associadas aos estados so
adicionadas para fornecer um vetor de dimenso N X 1. Para isso, deve-se lembrar que
os estados de um filtro de segunda ordem so compostos por um par (y(n), y(n-1)),
quem que y(n) a sada atual e y(n-1) a sada do instante anterior, enquanto no filtro
de primeira ordem, os estados so fornecidos apenas pela sada atual. Logo, para
descobrir a probabilidade da sada atual do filtro de segunda ordem ser igual a descobrir
a probabilidade da sada atual do filtro de segunda ordem ser igual a y(n) = iDELTA
(para -2^(B-1) =< i =< 2^(B-1) -1), basta somar a probabilidade de todos os estados em
que y(n) = iDELTA, i.,

de onde se obtm um vetor de densidade de probabilidade com N elementos.

6.2. Modelagem de trfego baseada em cadeias de Markov

A utilizao de redes de energia eltrica para transmisso
problemas importantes como perdas e rudo, j que estas redes
projetadas para este fim. Neste sentido, para a utilizao
transmisso, a modelagem de trfego pode ser utilizada
dimensionamento destas redes.

de dados incorre em
no foram inicialmente
eficiente do meio de
para planejamento e

As cadeias de Markov so processos estocsticos de tempo discreto. Uma cadeia de

Markov pode representar vrios estados possveis para uma determinada situao e as
transies, entre um estado e outro, ocorrem segundo valores de probabilidades.
Para modelagem do trfego de voz, um dos modelos de trfego mais simples o
processo ON/OFF, em que o estado OFF representa o estado quando no existe
atividade de voz, enquanto o estado ON representa a fonte quando existe um surto de
conversa, Daigle e Langford (1985).

O modelo clssico de trfego de Poisson foi proposto na dcada de 20 para anlise de

sistemas de telefonia e depois foi adaptado para a anlise de fila em redes de pacotes. Se
x for a ocorrncia de algum evento aleatrio em um intervalo de tempo, a probabilidade
de ocorrncia de x :

onde o parmetro de distribuio (mdia de ocorrncia de x).

No modelo MMPP (Modelo de Poisson Modulado por uma Cadeia de Markov), as
chegadas ocorrem segundo uma distribuio de Poisson com uma taxa que varia de
acordo com um estado k da cadeia de Markov de tempo contnuo. Este tipo de modelo
muito usado para caracterizar trfegos de voz e dados. A soma de processos de Poisson
resulta em um novo processo de Poisson cuja taxa mdia corresponde soma das taxas
mdias dos processos originais. Em um modelo MMPP, o estado i representa uma
transmisso de dados em intervalos exponencialmente distribudos com mdia 1/i,
Daigle e Langford (1985) e Maglaris et al.(1988).

6.3. Aplicaes de Cadeias Regulares Gentica

Nesta seo introduz-se uma aplicao trivial das cadeias de Markov em problemas de
Gentica.
Certas caractersticas das plantas e dos animais so determinadas por um par de genes,
cada um dos quais podendo ser de dois tipos, denotados por A e a. Existem trs
gentipos possveis: AA, Aa e aa (os gentipos Aa e aA so idnticos).
Em alguns casos esses trs gentipos resultam em trs caractersticas distintas e em
outros o AA e o Aa exibem uma mesma forma observvel. Nesta ltima situao, diz-se
que o gene A domina o gene a.
O indivduo chama-se dominante se tem o gentipo AA, heterozigoto se tem gentipo
Aa e recessivo se tem o gentipo aa. Por convenincia, denota-se um indivduo AA por
D, um Aa por H e um aa por R.
No caso de cruzamento, o filho herda um gene de cada um dos pais. Admita-se que as
probabilidades dos gentipos dos filhos de acordo com os dos pais sejam as dadas nas
Tabelas 1, 2 e 3, a seguir.

2.

Concluso

O leque de aplicaes para esse tipo de modelo infinito, existem vrias ferramentas
que implementam esse modelo.
de absoluta importncia para pesquisas especialmente na rea da medicina,
biomedicina e cincias biolgicas em geral. Alm desse destaque, muito bem
empregado na rea de clculos algbricos.

3.

Bibliografia

http://www.sbpcnet.org.br/livro/63ra/conpeex/pivic/trabalhos/TALLYTA-

CAROLYNE-MARTINS-DA-SILVA-PIVIC.PDF

http://www.gracalizdimuro.com/wp-content/uploads/2011/10/tutorial2002_7.pdf