Você está na página 1de 22

Modelos de Markov e Aplicacoes

Gracaliz P. Dimuro1 , Renata H. S. Reiser1 , Ant nio C. R. Costa12 , Paulo L. R. Sousa3 o


1

Escola de Inform tica Universidade Cat lica de Pelotas a o Rua Felix da Cunha 412 96010-140 Pelotas, RS

Programa de P s-Graduacao em Computacao Universidade Federal do Rio Grande do Sul o Caixa Postal 15064 90501-970 Porto Alegre, RS
3

Mestrado em Sa de e Comportamento Universidade Cat lica de Pelotas u o Rua Felix da Cunha 412 96010-140 Pelotas, RS
{liz,reiser,rocha}@atlas.ucpel.tche.br

Abstract. This tutorial presents the basic concepts concerning Markov chains, in particular, regular and absorbing chains. The principal concepts of Hidden Markov Models are also presented. Some applications of these models are shown. Resumo. Este tutorial apresenta os conceitos b sicos das cadeias de Markov, a ressaltando principalmente, as cadeias regulares e as absorventes. Tamb m e apresentam-se os principais conceitos sobre os modelos de Markov ocultos. Exemplos ilustrativos foram includos, para mostrar as potencialidades de aplicacao destes modelos.

1. Introducao
Um processo de Markov e um processo estoc stico cujo comportamento din mico e tal a a que as distribuicoes de probabilidade para o seu desenvolvimento fututo depende somente do estado presente, n o levando em consideracao como o processo chegou em tal estado. a Os processos markovianos s o modelados formalmente por sistemas de transicoes a de estados, onde os estados s o representados em termos de seus vetores probabilsticos, a que podem variar no espaco temporal (discreto ou contnuo), e as transicoes entre estados s o probabilsticas e dependem apenas do estado corrente. a Se o espaco de estados e discreto (enumer vel), ent o o modelo de Markov e de a a nominado de cadeia de Markov [17, 19]. As propriedades desses modelos s o estudadas a em termos das propriedades das matrizes de transicoes de estados que s o utilizadas na a sua descricao. Existem processos de Markov que s o modelados como aproximacoes do mundo a real, onde nem todos os estados s o perfeitamente conhecidos. Nestes casos, diz-se que a o modelo e escondido, e a quest o central em torno desses modelos e o grau com que s o a a capazes de capturar a ess ncia do processo escondido sob eles. e

Este trabalho foi parcialmente nanciado pela FAPERGS e CNPq.

O estudo dos modelos de Markov t m uma aplicacao muito ampla em v rias areas, e a como, por exemplo, ci ncias sociais, biol gicas e administrativas. Os modelos de Markov e o escondidos, que surgiram originalmente no domnio de reconhecimento da fala, atual mente t m sido empregados como modelos de computacao natural the so-called brains e programs [2], em trabalhos sobre vis o computacional [4] e reconhecimento de manuscria tos, de formas, gestos e express es faciais, em biologia computacional, entre outros (veja o em http://www-sig.enst.fr/cappe). Este tutorial e fruto dos estudos sobre os modelos de Markov, visando a sua aplicacao em processos de tomada de decis o, que est sendo desenvolvido junto ao Me a a strado em Sa de Mental e Comportamento da UCPel. u

2. Modelos de Markov
Uma modelo de Markov e um sistema de transicoes de estados, onde a probabilidade do sistema estar em um certo estado futuro depende apenas do estado corrente do sistema. Esta secao resume os principais conceitos b sicos e propriedades desses modelos. As a provas das proposicoes e teoremas podem ser encontradas em [17, 19]. 2.1. Cadeias de Markov Um modelo de Markov onde o espaco de estados I e discreto e denominado de Cadeia de Markov e e completamente descrito por sua matriz de transicao de estados. Esta matriz din mica, pois permite que as probabilidades de transicao se modiquem em funcao do e a tempo t, onde t e discreto. Considere uma cadeia de Markov com N estados xn I e sejam xi , xj I. Denota-se xi (t) para signicar que o processo est no estado xi no tempo t. a Denicao 1 Se pij e a probabilidade de transicao do estado xi (t) para o estado xj (t+1), ent o a matriz N N , dada por a P = [pij ], denomina-se matriz de transicao de estados da cadeia de Markov. Observa-se que, na Denicao 1, a soma das linhas da matriz P deve ser sempre igual a 1. A matriz de transicao tamb m pode ser dada por um diagrama de transicoes de e estados. A Figura 1 mostra o diagrama de transicoes de estados para uma cadeia de Markov com apenas 2 estados. Proposicao 1 Para t arbitr rio, tem-se que: a (i) A probabilidade de transicao do estado xi (t) para o estado xj (t + n) (em n passos) e n dada por pi,j ; (ii) A matriz de transicao de n passos, denotada por Pn , e calculada como a pot ncia n e da matriz de transicao P , isto e, Pn = P n .

p 01
p 00

x0
p 10

x1

p 11

Figura 1: Diagrama da matriz de transicoes de estados de uma cadeia de Markov de dois estados.

Para simular um processo de Markov, considerando um estado inicial x0 , pode-se escolher um estado sucessor de acordo com as probabibilidades p0j , para j = 1, . . . , N , determinando um novo estado x1 . Repite-se o processo para gerar o pr ximo estado, e o ` assim sucessivamente. Devido a natureza probabilstica do modelo, cada ves que esta simulacao for repetida, e prov vel que uma sequ ncia diferente de estados seja obtida a e como resultado. Portanto, a unica forma de analisar o proceso e manter o registro das probabilidades de estar em um estado. Denicao 2 Seja Si (t) a probabilidade de que um processo de Markov esteja em um estado xi no tempo t. Ent o o vetor a S1 (t) S2 (t) s(t) = . . . SN (t) e denominado de vetor de distribuicao de probabilidades de estado da cadeia de Markov no tempo t. Seja sT (0) a distribuicao inicial do processo1 . A evolucao do vetor de distribuicao e governada pela matriz de transicao em t passos. Proposicao 2 Para qualquer tempo t, tem-se que sT (t) = sT (0)Pt , onde Pt e calculada como em ?? e sT e o vetor transposto de s. 2.2. Cadeias Regulares Considerando que o vetor de distribuicao evolui no tempo, observa-se que h cir a cunst ncias em que ocorre uma distribuicao de probabilidade de equilbrio v tal que a
t

lim s(t) = v,

independentemente da distribuicao inicial s(0). Isto ocorre em processos de Markov de nominados de regulares.
1 T

s e o vetor transposto de s.

Denicao 3 Diz-se que um modelo de Markov e regular se sua matriz de transicao inicial P e regular, isto e, alguma pot ncia de P cont m somente entradas positivas. e e Segue da Denicao 3 que um processo de Markov e regular se, para algum t, tem-se que Pt > 0. Isto signica que, em uma cadeia de Markov regular, todo estado e acessvel a partir de outro, existindo um caminho de comprimento nito entre quaiquer dois estados, possibilitando a comunicacao entre todos os estados. Seja wT = [w1 , w2 , . . . , wN ] um vetor de comprimento N . Diz-se que w e um vetor probabistico se w1 , w2 , . . . , wN 0 e w1 + w2 + . . . + wN = 1. Teorema 1 Se um processo de Markov e regular, ent o exite unico vetor probabilstico a v, denominado de distribuicao de equilbrio, tal que: (i) v T P = v T ; (ii) limt P t = P , onde P e formada por t linhas iguais a v T . 2.3. Cadeias N o-Regulares a Existem processos que podem apresentar estados que n o acessveis a partir de algum a outro estado, isto e, a probabilidade de transicao para tais estados e igual a zero. Al m e disso, um estado de um processo de Markov nito poder eventualemnte atingir um estado a de comunicacao fechada, absorvente, cuja probabilidade e igual a 1. Um estado xi de uma cadeia de Markov e denominado de estado absorvente se, uma vez nesse estado, e impossvel sair dele, isto e, pii = 1. Segue que pij = 0, para i = j. Denicao 4 Diz-se que uma cadeia de Markov e absorvente se ela apresenta um estado absorvente e se de cada estado n o absorvente e possvel ir para algum estado absora vente em algum tempo t, isto e, para cada estado n o absorvente xi (t), existe um estado a absorvente xj (t + 1) tal que pij > 0, para algum t. Observa-se que, e uma cadeia de Markov absorvente, o estado do sistema ser a eventualemente um dos estados absorventes. Dada uma cadeia de Markov com k estados absorventes, e possvel redistribuir as linhas da matriz de transicao P , de modo que os estados absorventes quem nas k primeiras linhas. Com isso, um processo de Markon n o regular pode ser sempre rea organizado em quatro submatrizes. Denicao 5 Seja P a matriz de transicao de uma cadeia de Markov com k estados ab sorventes. Ent o: a (i) A matriz can nica da cadeia e dada por: o P = (ii) A matriz fundamental e obtida por: F = [I Pxx ]1 Ik Pxa Pxx

(iii) A matriz de probabilidade de absorcao e calculada como o produto: A = F Pxa onde Ik e uma matriz diagonal unit ria k k que representa os k estados absorventes, a e uma matriz nula, Psa representa as probabilidades de transicao de qualquer estado para todos os estados absorventes, Pss representa as probabilidades de transicao entre todos os estados n o absorventes, e aij e a probabilidade de que o sistema venha a estar a no estado absorvente xj (t), para algum tempo t, dado que esteja inicialmente no estado n o absorvente xi . a ` 2.4. Aplicacoes de Cadeias Regulares a Gen tica e Nesta secao introduz-se uma aplicacao trivial das cadeias de Markov em problemas de Gen tica, atrav s de um exemplo extrado de [19]. e e Certas caractersticas das plantas e dos animais s o determinadas por um par de a genes, cada um dos quais podendo ser de dois tipos, denotados por A e a. Existem tr s e gen tipos possveis: AA, Aa e aa (os gen tipos Aa e aA s o id nticos). o o a e Em alguns casos esses tr s gen tipos resultam em tr s caractersticas distintas e e o e em outros o AA e o Aa exibem uma mesma forma observ vel. Nesta ultima situacao, a diz-se que o gene A domina o gene a. O indivduo chama-se dominante se tem o gen tipo AA, heterozigoto se tem o gen tipo Aa e recessivo se tem o gen tipo aa. Por conveni ncia, denota-se um indivduo o o e AA por D, um Aa por H e um aa por R. No caso de cruzamento, o lho herda um gene de cada um dos pais. Admita-se que as probabilidades dos gen tipos dos lhos de acordo com os dos pais sejam as dadas o nas Tabelas 1, 2 e 3, a seguir.
Tabela 1: Probabilidades dos genotipos do lho de dois indivduos H

D (AA) H (Aa) R (aa) 0.25 0.50 0.25

Tabela 2: Probabilidades dos genotipos do lho de um indivduo H com outro D

D (AA) H (Aa) R (aa) 0.50 0.50 0.00

Tabela 3: Probabilidades dos genotipos do lho de um indivduo H com outro R

D (AA) H (Aa) R (aa) 0.00 0.50 0.50 As cadeias de Markov intervalares podem auxiliar em c lculos sobre hereditariea dade, como descrito neste pr ximo exemplo. o

Exemplo 1 Suponha que no tempo 0, um indivduo e acasalado com outro, sendo este do tipo H. No tempo 1, o produto do acasalamento e novamente acasalado com um indivduo H. O processo repete-se ent o da mesma maneira. Considera-se como estado a do sistema no tempo t o gen tipo do t- simo lho. Tem-se como resultado uma cadeia de o e Markov com tr s estados (D, H, R), cuja matriz de transicao e dada por: e 0.5 0.5 0 P = 0.25 0.5 0.25 , 0 0.5 0.5 sendo a matriz de transicao de 2 passos calculada como (com precis o igual a 2 no a Maple): 0.38 0.50 0.13 P2 = 0.25 0.50 0.25 . 0.13 0.50 0.38 Observa-se que, em 1, devido a erros de arredondamento, tem-se que 1. Pela observacao da matriz de transicao de dois passos P2 dada em 1, que apre senta todas as entradas positivas, conclui-se que esta matriz aproxima uma matriz real regular que tem uma distribuicao de equilbrio v aproximada pelo vetor probabilstico V = [v1 , v2 , v3 ], tal que V P V . O sistema correpondente e:
3 j=1

(1)

p1 j =

5v1 + 0.25v2 5v1 + 5v2 + 5v3 0.25v2 + 0.5v3 v1 + v2 + v3

= = = =

v1 v2 v3 1

A solucao do sistema resulta na distribuicao real de equilbrio v = [.25, .5, .25]. 2.5. Aplicacoes de Cadeias Absorventes na Aprendizagem por Pares Associados Nesta secao apresenta-se o cl ssico modelo de Bower [3] de aprendizagem por pares as a sociados. Neste modelo, uma lista de estmulos e apresentada a um paciente em ordem aleat ria. Os estmulos podem ser palavras, n meros, slabas sem nexo, guras ou tens o u similares. A cada estmulo corresponde uma resposta correta que se sup es que o paciente o aprenda. Antes que a experi ncia comece realmente, o paciente pode ser informado de e algum modo sobre o conjunto das respostas ou pode tomar cinhecimento delas gradulamente no decorrer da experi ncia. e A experi ncia consiste em apresentar ao paciente um estmulo de cada vez, due rante um breve perodo de tempo, durante o qual solicita-se ao paciente tentar indicar a resposta correta. Ap s o paciente ter dado sua resposta, mostra-se a ele a resposta coro reta. Isso serve como uma conrmacao de uma resposta correta ou como uma correcao de

uma resposta incorreta. Depois de apresentada toda a lista de estmulos, ela e novamente apresentada, por m em ordem aleat ria diferente da anterior. e o Na situacao experimental modelada por Bower os estmulos consistiam em 10 pares de consoantes, enquanto as respostas eram os n meros 1 e 2. A cada par de conu soantes atribua-se aleatoriamente um desses n meros como resposta, antes do incio da u experi ncia. Os estmulos eram apresentados e pedia-se que o paciente para responder e 1 ou 2. Ap s dar sua resposta, o paciente era informado da resposta correta ao estmulo o apresentado. Depois de exibidos os 10 pares de consoantes (constituindo um ensaio) os 10 cart es com estmulos eram baralhados e novamente apresentados ao paciente. o Esse processo era repetido at que o paciente coseguisse passar sem erros pela lista de e estmulos, por duas vezes consecutivas. Ao acontecer isso, considerava-se que o paciente tinha aprendido as respostas corretas. Para analisar esse tipo de experi ncia utilizando cadeias de Markov, considera-se e os seguintes axiomas: 1. Cada par estmulo-resposta encontra-se em um estado dentre dois possveis, em qualquer ensaio n: condicionado (C(n)) ou palpite (P (n)). O estado de condicionamento do par estmulo-resposta corresponde ao paciente ter aprendido o par. Caso contr rio, o paciente estar simplesmente adivinhando. a a 2. Em qualquer ensaio n, a probabilidade de transicao de P (n) para C(n + 1) e uma constante c(0 c 1); segue que a probabilidade de uma transicao de P (n) para P (n + 1) e 1 c. 3. Em qualquer ensaio n, a probabilidade de transicao de C(n) para C(n + 1) e 1; segue que a probabilidade de uma transicao de C(n) para P (n + 1) e 0. 4. Se estiver em P (n), em qualquer ensaio n, a probabilidade de sucesso S(n) (res u posta correta ao estmulo) e 1/N , onde N o n mero total de respostas possveis. 5. Cada tem est no estado n o condicionado (palpite) no ensaio inicial. a a Numa primeira modelagem, considere uma cadeia de Markov com dois estados: condicionado (1) e palpite (2). De acordo com o axioma 5, a distribuicao inicial e ent o: a sT = 0.00 1.00 .

Pelos axiomas 2 e 5, a matriz de transicao inicial da cadeia de Markov e: P = 1.00 0.00 c 1c . (2)

Fazendo c = 0.30 na equacao 2, tem-se: P = 1.00 0.00 0.30 0.70 .

Calcula-se algumas pot ncias da matriz P (com precis o igual a 2): e a P5 = 1.00 0.00 0.83 0.17 , P15 = 1.00 0.00 1.00 0.0047 , P100 = 1.00 0.00 1.00 0.32.1015 .

Calcula-se a distribuicao da cadeia de Markov nos diversos ensaios realizados: s(1) = s(0)P1 = 0.30 0.70 , s(5) = s(0)P5 = 0.83 0.17 ,

s(10) = s(0)P10 =

0.97 0.028

, s(15) = s(0)P15 =

1.00 0.0047

,....

Observa-se que os resultados obtidos indicam, por exemplo, que no tempo 10 (ou seja, logo ap s o d cimo ensaio), h uma probabilidade de aproximadamente 97% de um o e a paciente sob teste estar no estado condicionado. J no tempo 15 h uma probabilidade a a virtual (pois o valor 1 est sujeito h erros de arredondamento) de 100% de um paciente a a estar no estado condicionado. Rena-se agora o modelo, considerando-o como uma cadeia de Markov com tr s e estados: condicionado (1), palpite errado (2) e palpite certo (3). Para determinar a matriz de transicao da cadeia de Markov correpondente utiliza-se o axioma 4, juntamente com os outros axiomas. Assim, tem-se que p11 = 1, p12 = 0, p13 = 0, p21 = c, p31 = c. Para calcular p23 , sejam Gn+1 o evento o paciente tenta adivinhar no ensaio n + 1, Sn+1 o evento o paciente responde corretamente no ensaio n + 1 e Tn o evento o paciente faz um palpite errado no ensaio n. Se P r(x) denota a probabilidade de x e P r(x|y) denota a probabilidade condicional de x dado que y tenha ocorrido, tem-se que:

p23 = P r(Sn+1 Gn+1 |Tn ) = P r(Sn+1 |Gn+1 Tn )P r(Gn+1 |Tn ).

(3)

a Pelo axioma 2, tem-se que P r(Gn+1 |Tn ) = 1 c, e, pelo axioma 4, e v lido que P r(Sn+1 |Gn+1 Tn ) = 1/N , onde N e o n mero total de respostas possveis. Da u equacao 3, segue que: p23 = . De forma an loga, conclui-se que: a p22 = (1 1 1 1 )(1 c), p32 = (1 )(1 c), p33 = (1 c). N N N 1 (1 c) N

Assim, a matriz de transicao dessa cadeia de Markov e 1.00 0.00 1 P = c (1 N )(1 c) 1 c (1 N )(1 c) 0.00 1 (1 c) , N 1 (1 c) N

(4)

que e uma cadeia absorvente, com o estado 1 absorvente e os estados 2 e 3 n o absorvena tes.

Os axiomas 4 e 5 implicam que a distribuicao inicial dessa cadeia e: s(0) = 0.00 1


1 N 1 N

Sejam c = 0.30 e N = 4. Ent o a equacao 4 torna-se (com precis o igual a 3): a a 1.000 0.000 0.000 P = 0.30 0.525 0.175 0.30 0.525 0.175 e a distribuicao inicial e s(0) = 0.000 0.750 0.250 .

Calcula-se a distribuicao da cadeia em v rios tempos, obtendo-se, por exemplo: a s(2) = 0.510 0.368 0.123 s(30) = , s(15) 0.995 0.356 0.119.102 ,... ,

1.000 0.169.104 0.563.105

Observa-se que, no trig simo ensaio, e virtualmente certo que (a incerteza e devido e aos erros de arredondamento) que o paciente esteja no estado condicionado. Uma importante quest o e saber qual o n mero de vezes em que o paciente se a u encontra no estado 2, ou seja, o n mero de respostas incorretas dadas pelo paciente ao u par estimulo-resposta em quest o. Em [19] h a prova de que o n mero de vezes que o a a u nito, isto e, eventualmente ele estar no estado paciente se encontra nos estados 2 ou 3 e a condicionado. Observe que a matriz can nica dessa cadeia de Markov e: o 1.000 0.300 P = 0.300 onde Pxx = 0.525 0.175 0.525 0.175 , 0.000 0.000 0.525 0.175 0.525 0.175

Pxa =

0.300 0.300

O n mero m dios esperado de vezes em que o paciente se encontra no estado 2 u e ou 3 e dado por 0.750 0.250 F.

Tem-se que I Pxx = e, portanto, F = [I Pxx ]1 = Consequentemente, tem-se que 0.750 0.250 F = 2.500 0.833 , 2.750 0.583 1.750 1.583 . 1.000 0.000 0.000 1.000 0.525 0.175 0.525 0.175 = 0.475 0.175 0.525 0.825 ,

o que signica que, por exemplo, o n mero esperado de respostas incorretas dadas pelo u paciente ao tem em quest o e 2.5. Al m disso, tem-se que a matriz de probabilidade de a e absorcao e dada por: A = F Pxa = 1.000 1.000 ,

signicando que, desconsiderando os erros de arredondamento, h 100% de probabilidade a de que o paciente venha a estar no estado condicionado eventualmente.

3. Modelos de Markov Ocultos


Em alguns casos existe a possibilidade de que se tenha uma descricao incompleta do ambiente em que ocorre um processo Markoviano, onde o espaco de estados e des conhecido. Nestes casos, e possvel denir um modelo de Markov considerando uma aproximacao desse espaco. Modelos deste tipo s o denominados Modelos de Markov a Ocultos (HMM) [15]. Esta secao apresenta uma discuss o sobre esses modelos, a 3.1. Conceitos B sicos a Denicao 6 Um Modelos de Markov Ocultos (HMM) e uma tripla M = (s, P, B), onde consideram-se: (i) Um conjunto especco Ok de observacoes do tipo k que resultam de um experimento; (ii) Um conjunto X de estados xi , onde em cada estado xi e possvel realizar uma observacao bi (k), com i = 1, . . . , N e k Ok ; (iii) Uma distribuicao de probabilidade para o estado inicial dada pelo vetor s = [si ], onde si = P r(xi (0)); (iv) Uma distribuicao de probabilidade para as transicoes de estados dada pela matriz P = [pij ], onde pij = P r(xj (t + 1)|xi (t)); (v) Uma distribuicao de probabilidade para as observacoes em cada estado dada pela matriz B = [bj (k)], onde bj (k) = P r(Ok |xj ).

p 11 x begin

p 12

p 22 x2

p begin-1

x1 b 1 (m) b 1 (n) p 21

p 2-end

x end

b 2 (m) b 2 (n)

Figura 2: Diagrama de transicoes de estados de um modelo de Markov oculto de dois estados nao terminais, onde ha a probabilidade de emissao de dois smbolos (m e n).

Pode-se pensar nesse tipo de modelo como um aut mato nito (n o detero a minstico) com sada [9], cujas transicoes s o vazias e probabilsticas, sendo que, em a cada estado poder haver a emiss o de smbolos (tens observ veis) segundo uma certa a a a probabilidade. Exemplo 2 Os modelos ocultos podem ser representados como diagramas de estados, como, por exemplo, o modelo oculto com conjunto de estados X = {xbegin , x1 , x2 , xend } da Figura 2, onde somente os estados n o terminais x1 e x2 emitem os simbolos a (tens observ veis) m e n. a Simulando um experimento, a partir do estado x1 e possvel ir para o outro estado x2 ou n o, de acordo com as probabilidades de transicao p12 ou P11 , respectivamente. O a mesmo acontece no estado x2 . Segue-se assim sucessivamente, at atingir o estado nal. e Em cada estado n o terminal observa-se a emiss o do smbolo m ou m, de acordo a a com as probabilidades de emiss o do smbolo m ou n no estado x1 (b1 (m), b1 (n)) e no a estado x2 (b2 (m), b2 (n)). Como resultado, obt m-se uma seq encia oculta (que n o e observada) de estados e u a percorridos e um seq encia de smbolos (que e observada). Uma seq encia de smbolos u u que pode ser observada, por exemplo, e O = m, n, m; uma seq encia possvel de estados u ocultos e I = xbegin , x1 , x1 , x2 , xend . A probabilidade do modelo percorrer os estado de I para produzir a seq encia de observacoes O e dada por: u P r(O, I|M ) = pbegin1 b1 (m) p11 b1 (n) p12 b2 (m) p2end . Assim, dada uma seq encia de observacoes, n o se conhece a seq encia de estau a u dos pela qual passa o modelo, mas somente uma funcao probabilstica deste caminho. Exemplo 3 Um exemplo extraido de [2] consiste no modelo das urnas. Suponha que exitem N urnas contendo L bolas coloridas (preto, branco e cinza). Uma pessoa inicia por uma das urnas, retira uma bola e observa a sua cor, recoloca-a na urna, e vai para outra urna ou permanece na mesma urna, com uma certa probabilidade, e toma outra bola, e assim sucessivamente. O processo termina ap s W seq encias de passos deste o u tipo. Considere uma conguracao especca de N = 2 urnas e um tempo de observacao W = 3, como mostra a Figura 3, e uma distribuicao de probabilidade dada por:

Estado 1 .7 .2 .1 Estado 2 .3

.8

.9

t=1

t=2

t=3

Figura 3: Esquema do experimento com o modelo de urna com 2 estados em 3 fases de tempo.

s=

0.7 0.3

A matriz B dene as probabilidades das possveis observacoes para cada estado: B= b1 (Branco) b1 (P reto) b1 (Cinza) b2 (Branco) b2 (P reto) b2 (Cinza) = 0.1 0.4 0.5 0.6 0.2 0.2 .

A matriz das probabilidades de transicao de estado e dada por: P = 0.8 0.2 0.1 0.9 .

A Figura 3 mostra um esquema do experimento. O modelo est representado a na Figura 4. O algoritmo dado na Tabela 4 e utilizado para gerar as seq encias de u observacoes. Salienta-se que a seq encia mais prov vel e O = {Cinza, Cinza, Cinza}. u a Isto ocorre porque o estado inicial mais prov vel e o Estado 1 (urna 1), Cinza e a cor a mais prov vel de ser observada no Estado 1, e, a partir do Estado 1, o estado mais a prov vel e ainda o Estado 1. A probabilidade de ocorrer esta seq encia dada a seq encia a u u I = {Estado1, Estado1, Estado1} de estados e calculada ent o como: a P r(O, I|M ) = s1 b1 (cinza) p11 b1 (cinza) p11 b2 (cinza) = 0.056. Exemplo 4 Considere um jogo de cara de cara (h) ou coroa (t) no qual sabe-se que o lancador pode utilizar duas moedas, uma normal e uma viciada. A moeda normal ofe rece probabilidade de 50% tanto para cara como para coroa, enquanto a moeda viciada oferece 75% de chance para cara e apenas 25% para coroa. Sabe-se tamb m o lancador pode iniciar o processo escolhendo qualquer uma das e moedas com igual probabilidade, entretanto, uma vez tendo utilizado uma das moedas (normal ou viciada) a probabilidade de que o lancador a troque por outra e de apenas 20%.

.8

.2

.1

.7
branco = .1 preto = .4 cinza = .5
Estado 1

.3
.9 branco = .1 preto = .4 cinza = .5
Estado 2

Figura 4: Modelo de urna com 2 estados. Tabela 4: Algoritmo gerador de sequencias de observacoes.

t = 1 Escolha um estado inicial utilizando s Enquanto t <= W : Escolha uma observaco O utilizando B a Escolha um novo estado utilizando P t = t + 1

O modelo est representado na Figura 5. Tem-se ent o o conjunto de observacoes a a O = {h, t}, o conjunto de estados X = {N = normal, V = viciada}, a matriz B das possveis observacoes para cada estado: B= a matriz de transicao: P = e a distribuicao inicial: s= 0.5 0.5 . 0.8 0.2 0.2 0.8 bN (h) = 0.50 bN (t) = 0.50 bV (h) = 0.75 bV (t) = 0.25

Observe que, neste caso, e mais difcil descobrir qual a seq encia mais u prov vel observada em um dado experimento. Considere ent o uma dada seq encia de a a u observacoes O = {h, h, t, t}. Em princpio n o sabe-se a seq encia de estados que a ge a u rou. Entretanto, considerando uma dada seq encia de estados (por exemplo, a seq encia u u I = {N, N, V, N }), e possvel estimar qual a probabilidade da seq encia O ter sido u gerada pelo modelo a partir desse caminho de estados: P r(O, I|M ) = sN bN (h) pN N bN (h) pN V bV (t) pV N bN (h) = 0, 0005.

.8
N = .5

.2
V = .5

.8

b N (h) = .5 b N (t) = .5

0.2

b V(h) = .75 b V(h) = .25

Figura 5: Modelo das moedas.

e 3.2. A Probabilidade de uma Sequ ncia de Observacoes Uma discuss o interessante, que pode ser feita a partir da an lise dos exemplos 2, 3 e 4, a a ` e o problema relacionado a descoberta da probabilidade de que uma dada seq encia u de observacoes O tenha sido gerada por M . Para calcular a probabilidade de que tal seq encia venha a ser observada, deve-se considerar a soma das probabilidades da u geracao dessa seq encia sobre todos os possveis caminhos que a geram. Assim, seja u I = x1 , x2 , . . . , xW uma seq encia particular de estados possvel em W passos e consiu dere a expans o de P r(O|M ) em todos os estados, dada por: a P r(O|M ) =
I

P r(O, I|M ).

(5)

Para qualquer seq encia individual de estados, pode-se usar a regra de Bayes na u equacao 5, obtendo: P r(O, I|M ) = P r(O|I, M )P r(I, M ). (6)

O primeiro termo do lado direito da equacao 6, P r(O|I, M ), e a probabilidade de ncia de observacoes, considerando um dado conjunto de estados. se ver uma dada seq e u Para os estados conhecidos, considerando Ok , o c lculo e realizado como: a P r(O|I, M ) =
jI

bj (k).

O segundo termo do lado direito da equacao 6 e dado pelo produto da probabili dade de iniciar no estado x1 e passar pelos estados x2 , . . . , xW : P r(I|M ) = s1 p12 p23 . . . p(W 1)W . Assim, a equacao 5 pode ser escrita como:
W 1

P r(O, I|M ) = s1 b1 (k)


i=1

bi+1 (k)pi(i+1) .

(7)

Tabela 5: Algoritmo para computar P r(O|M ).

Vers o Iterativa a 1 = [si bi (1)] Para t em {1, . . . , W 1}: t t+1 = P [i bi (t + 1)] N W P r(O|M ) = i=1 i

Vers o Recursiva a Defina (W ): se W == 1: [si bi (1)] sen o: a W P [i 1 bi (W )] W P r(O|M ) = N i i=1

Considerando um modelo onde se tem os estados disting veis xbegin e xend (como u o modelo da Figura 2), ent o a equacao 7, para W +2 passos, onde a sq encia e observada a u nos estados n o terminais, torna-se: a
W

P r(O, I|M ) = pbegin1


i=1

bi (k)pi(i+1) ,

onde xW +1 = xend . Uma crtica grave a esta formulacao e que o custo computacional do somat rio da o equacao 5 e muito alto (da ordem N W ). Entretanto, e possvel usar resultados parciais, que s o acumulados em um vetor t , conforme descrito no procedimento forward do a algoritmo da Tabela 5.
t Exemplo 5 Considere o modelo das urnas apresentado no Exemplo 3. Dene-se i como a probabilidade de acontecer a observacao Ot no estado xi . Ent o, se a

s=

0.7 0.3

B(Cinza) =

0.5 0.2

tem-se que o vetor inicial 1 e dado por: 1 = [si bi (1)] = Sucessivamente, calcula-se:
1 2 = P [i bi (2)] 0.8 0.2 = 0.1 0.9 1 1 b1 (Cinza) 1 2 b2 (Cinza)

s1 b1 (Cinza) s2 b2 (Cinza)

0.35 0.06

= =

0.8 0.2 0.1 0.9 0.142 0.0283

0.175 0.012

e
2 3 = P [i bi (3)] 0.8 0.2 = 0.1 0.9

2 1 b1 (Cinza) 2 2 b2 (Cinza)

= =

0.8 0.2 0.1 0.9 .0581 .0122 .

.0712 .00566

Finalmente, a probabilidade de ver a seq encia Cinza,Cinza,Cinza e dada por: u


N 2 W i i=1

P r(O|M ) =

=
i=1

3 i = 0.0703.

t Exemplo 6 Considere o modelo das moedas apresentado no Exemplo 4. Dene-se i como a probabilidade de acontecer a observacao Ot no estado xi . Ent o, se a

s=

0.5 0.5

B(h) =

0.5 0.75

tem-se que o vetor inicial 1 e dado por: 1 = [si bi (1)] = Sucessivamente, calcula-se:
1 2 = P [i bi (2)] 0.8 0.2 = 0.1 0.9 1 1 b1 (h) 1 2 b2 (h)

s1 b1 (h) s2 b2 (h)

0.25 0.375

= = e

0.8 0.2 0.2 0.8 0.156 0.250

0.125 0.281

2 3 = P [i bi (3)] 0.8 0.2 = 0.2 0.8

2 1 b1 (t) 2 2 b2 (t)

= =

0.8 0.2 0.2 0.8 .0750 .0656 ,

.0781 .0625

3 4 = P [i bi (4)] 0.8 0.2 = 0.2 0.8

3 1 b1 (t) 3 2 b2 (t)

= =

0.8 0.2 0.2 0.8 .0333 .0206 .

.0375 .0164

Finalmente, a probabilidade de ver a seq encia h,h,t,t e dada por: u


N 2 W i i=1

P r(O|M ) = 3.3. Caminho Gerador Otimo

=
i=1

4 i = 0.0539.

Outra quest o fundamental e, dada um seq encia de observacoes O, descobrir a seq encia a u u de estados I mais prov vel, que seja capaz de gerar O. Um crit rio simples para tratar a e este problema e considerar a seq encia que torna cada um dos estados o mais prov vel2 . u a Observa-se que, de forma an loga ao procedimento dado no algoritmo da Tabela 5, a e possvel denir um procedimento backward, atrav s de um vetor (t) que registra a e probabilidade de alcancar um dos estados nais, dado um determinado estado corrente. Este vetor (t) pode ser utilizado para denir um algoritmo para prever a probabilidade de seq encias de estados de forma an loga ao algoritmo da Tabela 5. u a Seja it a probabilidade de terminar no estado xi no tempo t, dada a seq encia de u observacoes O, calculada como: it = P r(xi (t) = si |O, M ). Em 8, pode-se utilizar os vetores (t) e (t) para expressar it , obtendo: t =
t [i it ] , P r(O|M ) N i=1

(8)

(9) it = 1.

onde P r(O|M ) e um fator de normalizacao tal que

Dado t , os estados mais prov veis s o expressados pelos seus ndices, como: a a indext = ndice do max1iN {it }. Para computar a equacao 9, pode-se utilizar o algoritmo de Viterbi, onde, para registrar os estados mais prov veis, dene-se um vetor r(t), como mostra o algoritmo a dado na Tabela 6.
Pode acontecer que n o exista um caminho entre estados sucessores, mas isto geralmente n o ocorre a a na pr tica. a
2

Tabela 6: Algoritmo para computar o caminho gerador otimo.

Ves o Iterativa a

Vers o Recursiva a

1 = [si bi (1)] Defina r(W): r(1) = [index1 ] Se W == 1: Para t em {1, . . . , W 1}: 1 = [si bi (1)] t+1 t = P [i bi (t + 1)] r(1) = [index1 ] r(t + 1) = anexe(indext+1 , r(t)) Sen o: a W = P [iW 1 bi (W )] r(W ) = anexe(indexW , r(W 1))

Exemplo 7 Considerando o modelo das urnas trabalhado nos Exemplos 3 e 5, dada a seq encia de observacoes O = {Cinza, Cinza, Cinza}, pode-se calcular a seq encia u u de estados mais prov vel para produz-la. Primeiramente, calcula-se: a 1 = [si bi (1)] = s1 b1 (Cinza) s2 b2 (Cinza) = .35 .06 ,

onde max1iN {i1 } = .35, logo index1 = 1(x1 (1)), e, portanto, r(1) = [index1 ] = Calcula-se sucessivamente: 1(x1 (1)) .... .... .

2 = P [i1 bi (2)] .8 .2 = .1 .9 = = .8 .2 .1 .9 .142 .0283 ,

1 1 b1 (Cinza) 1 2 b2 (Cinza)

.175 .012

onde max1iN {i2 } = .142, logo index2 = 1(x1 (2)), e, portanto, r(2) = 1(x1 (1)) 1(x1 (2)) .... ;

2 3 = P [i bi (3)]

= = =

.8 .2 .1 .9 .8 .2 .1 .9 0.0581 0.0122 ,

2 1 b1 (Cinza) 2 2 b2 (Cinza)

.0712 .00566

onde max1iN {i3 } = .0581, index3 = 1(x1 (3)), e, portanto, r(3) = 1(x1 (1)) 1(x1 (2)) 1(x1 (3)) .

Logo o caminho gerador otimo da sequ ncia cinza,cinza,cinza e x1 , x1 , x1 , como e era esperado. Exemplo 8 Considerando o modelo das moedas trabalhado nos Exemplos 4 e 6, dada a seq encia de observacoes O = {h, h, t, t}, pode-se calcular a seq encia de estados mais u u prov vel para produz-la. Primeiramente, calcula-se: a 1 = [si bi (1)] = s1 b1 (h) s2 b2 (h) = .25 .675 ,

onde max1i2 {i1 } = .675, logo index1 = 2(x2 (1)), e, portanto, r(1) = [index1 ] = Calcula-se sucessivamente: 2(x2 (1)) .... .... .

2 = P [i1 bi (2)] .8 .2 = .2 .8 = = .8 .2 .2 .8 .156 .250 ,

1 1 b1 (h) 1 2 b2 (h)

.125 .281

onde max1i2 {i2 } = .250, logo index2 = 2(x2 (2)), e, portanto, r(2) = 2(x2 (1)) 2(x2 (2)) .... ;

3 = P [i2 bi (3)]

= = =

.8 .2 .2 .8 .8 .2 .2 .8 0.0750 0.0656 ,

2 1 b1 (t) 2 2 b2 (t)

.0781 .0625

onde max1i2 {i3 } = .075, index3 = 1(x1 (3)), e, portanto, r(3) = 2(x2 (1)) 2(x2 (2)) 1(x1 (3)) ;

4 = P [i3 bi (4)] .8 .2 = .2 .8 = = .8 .2 .2 .8 0.0333 0.0206 ,

3 1 b1 (t) 3 2 b2 (t)

.0375 .0164

onde max1i2 {i4 } = .0333, index4 = 1(x1 (4)), e, portanto, r(4) = 2(x2 (1)) 2(x2 (2)) 1(x1 (3)) 1(x1 (4)) .

Logo o caminho gerador otimo da sequ ncia h,h,t,t e x2 , x2 , x1 , x1 . e 3.4. Aperfeicoando o Modelo O principal problema em HMM e descobrir o melhor modelo M , o que e muito difcil e n o tem solucao analtica conhecida. Pode-se derivar uma aproximacao que e melhor que a a vers o corrente. Este procedimento pode ser repetido at que nehuma melhoria possa a e ser vericada. Em linhas gerais, esta estrat gia iniciar com um conjunto inicial M = (s, P, B) e a e executar o modelo um n mero suciente de vezes para estimar um novo conjunto de u par metros M = (s , P , B ). Estas estimativas s o ent o utilizadas como o novo modelo, a a a e, ent o, o processo e repetido. a As estimativas de s e B s o simples de calcular: a s = t e
W t t=1,Ot =k j . W t t=1 j

(10)

bj (k) =

(11)

Tabela 7: Algoritmo de Baum-Welch.

Repita os seguintes passos at que os e parmetros do modelo estejam de acordo a com a tolerncia considerada: a Estimar s utilizando a equaco 10 a Estimar B utilizando a equaco 11 a Estimar P utilizando a equaco 12 a

Para estimar pij , calcula-se ij como: ij = P r(xi (t) = si , xi (t + 1) = sj |), M ) resultando em ij =


t+1 t i pij bj (t + 1)j , P r(O|M )

de tal forma que a estimativa pode ser obtida como uma m dia ao longo do tempo: e
W t=1 ij . W t j t=1

pij =

(12)

A Tabela 7 apresenta o algoritmo de Baum-Welch para aperfeicoamento do mo delo pelo c lculo sucessivo de estimativas para os par metros. a a

Refer ncias e
[1] J. F. F. Ara jo, G. P. Dimuro, M. A. Campos, Probabilidades Intervalau res com Aplicacoes no Maple, ESIN/UCPel, Pelotas, RS, 2001. (http://gmc.ucpel.tche.br/fmc) [2] D. H. Ballard, An Introduction to Natural Computation, MIT Press, Cambridge, 1997. [3] G. H. Bower, Applications of a Model to Paired-Associate Learning, Psychometrika, Vol. 26, pp. 225-2380, 1961, [4] H. Bunke, T. Caelli (Eds), Hidden Markov Models Applied in Computer Vision, in Machine Perception and Articial Intelligence, Vol. 45, World Scientic, N. J., 2001. [5] M. A. Campos, Uma Extens o Intervalar para a Probabilidade Real, Tese de Doutorado, a Centro de Inform tica/UFPE, 1997. a [6] M. A. Campos, Interval probabilities, application to discrete ramdom variables, Seleta do XXII CNMAC (E.X.L. de Andrade, J. M. Balthazar, S. M. Gomes, G. N. Silva, A. Sri Langa, eds.), TEMA, Vol. 1.2, pp. 333-344, SBMAC, 2000.

[7] M. A. Campos, G. P. Dimuro, A. C. R. Costa, J. F. F. Araujo, A. M. Dias, Probabilidade Intervalar e Cadeias de Markov Intervalares no Maple, Seleta do XXIV CNMAC (E.X.L. de Andrade, J. M. Balthazar, S. M. Gomes, G. N. Silva, A. Sri Langa, eds.), TEMA, SBMAC, 2002. [8] A. M. Dias, G. P. Dimuro, Matem tica Intervalar com Aplicacoes no Maple, a ESIN/UCPel, Pelotas, 2000. (http://gmc.ucpel.tche.br/mat-int) [9] J. Hopcroft and J. D. Ullman, Introduction to Automata Theory, Languages and Computation, Addison-Wesley, Reading, 1979). [10] U. W. Kulisch, W. L. Miranker, Computer Arithmetic in Theory and Practice, Academic Press, New York, 1981. [11] H. E. Kyburg, Jr., Interval-valued Probabilities, http://www.ensmain.rug.ac.be/ ipp. [12] M. B. Monagan, K. O. Geddes, K. M. Heal, G. Labahn, and S. M. Vorkoetter, Maple V: Program. Guide, Springer, N. York, 1998. [13] R. E. Moore,Methods and Applications of Interval Analysis, SIAM, Philadelphia, 1979. [14] A. Neumaier, Interval Methods for Systems of Equations, Cambridge University Press, Cambridge, 1990. [15] L. R. Rabiner and B. H. Juang, An Introduction to Hidden Markov Models, IEEE ASSP Magazine, 3(4):4-16, 1986. [16] B. Tessem, Interval Probability Propagation, International Journal of Approximate Reasoning, 7:95-120, 1992. [17] K. S. Trivedi, Probability and Statistics with Reliability, Queuing, and Computer Science Applications, Prentice-Hall, Englewood Cliffs, NJ, 2000. [18] K. Weichselberger, Axiomatic foundations of the theory of interval-probability, Symposia Gaussiana, Conference B: Statistical Sciences, pp. 47-64, Munich, Germany, August 2-7, 1993. [19] W. Yoselogff, Finite Mathematics, Worth Publishing, New York, 1975. [20] I. O. Kozine and L. V. Utkin, Interval-Valued Finite Markov Chains, Reliable Computing, 8(2): 97-113, 2002.

Você também pode gostar