13

5 MODELOS OCULTOS DE MARKOV

Um Modelo Oculto de Markov (RABINER, 1989) uma variante das Cadeias de Markov. Nos Modelos Ocultos possvel perceber a existncia da funo de distribuio de observaes para cada estado, assim cada estado pode gerar uma observao. Estes modelos possuem grandes aplicaes em reas como a Biologia, Inteligncia Articial (especialmente nos Sistemas de Reconhecimento de Fala) e Meteorologia. Existem trs problemas relacionados aos Modelos Ocultos de Markov que possuem solues atravs dos algoritmos Forward, Backward, Viterbi e Baum Welch. Um Modelo Oculto de Markov denido como
= (A, E, Q, , ),

onde A uma matriz de nmeros reais no negativos indexada por Q Q, denominada de matriz de probabilidades de transio de estados, E uma matriz de nmeros reais no negativos indexada por Q que contm as probabilidades de emisso de smbolos em cada estado, Q o conjunto de estados do modelo, o vetor da distribuio inicial de probabilidades desses estados e o conjuto de smbolos do alfabeto. No ponto de vista matemtico, os elementos mais importantes, e que devem ser levados em considerao so a matriz de transio de estados, matriz com as probabilidades de emisso de smbolos em um determinado estado e o vetor de probabilidades iniciais. Estas estruturas so consideradas mais importantes, pois todos os clculos executados pelos algoritmos relacionados aos Modelos Ocultos de Markov, dependem delas. Observando estas estruturas tambm possvel visualizar o nmero de estados e o nmero de smbolos que esto envolvidos no modelo. A seguir possvel notar um exemplo, extremamente simplicado, que mostra as estruturas pertencentes aos Modelos Ocultos de Markov em uma aplicao voltada para o processo de etiquetagem. Os estados do modelo so representados pelas classes gramaticais, os smbolos do modelos so representados pelas palavras da lngua portuguesa. mostrado uma si-

14

mulao para a construo de um Modelo Oculto de Markov baseado no seguinte texto marcado:
A_ARTD cidade_N est_V muito_ADV poluda_V ._PT Os_ARTD carros_N esto_V correndo_V na_CPR cidade_N !_PT.

Observando as transies de estados possvel montar a matriz com as probabilidades de transio (matriz A). Divide-se a quantidade de transies de um estado para o outro pela ocorrncia total do mesmo estado. Por exemplo: A classe gramatical V (Verbo) ocorre quatro vezes no texto marcado, analisando as transaes da classe V as probabilidades cam na seguinte forma:
V ART D = V N = V V =
0 4 1 4 0 4

; ;
1 4

V ADV = V PT =
1 4

. .

;
1 4

V CP R =

Visualizando a matriz de transio de estados possvel observar o nmero de estados que pertence ao modelo que est sendo construdo. Neste caso seis estados pertencem ao modelo (ARTD, N, V, ADV, PT, CPR). A execuo deste processo, levando em conta todas as transies, constri a matriz de transio de estados, que pode ser vista a seguir:
A= 0.00 1.00 0.00 0.00 0.00 0.00 0.00 0.66 0.00 0.00 0.33 0.00 0.00 0.00 0.25 0.25 0.25 0.25 0.00 0.00 1.00 0.00 0.00 0.00 1.00 0.00 0.00 0.00 0.00 0.00 0.00 1.00 0.00 0.00 0.00 0.00

Os smbolos que esto envolvidos nesse modelo so as palavras da lngua portuguesa (A, cidade, est, carros, os, etc). A matriz que contm as probabilidades de emisso de smbolos em um determinado estado construda levando em considerao a diviso de um smbolo em um determinado estado pela ocorrncia total deste mesmo smbolo. O exemplo a seguir mostra essa idia:

15

A palavra cidade aparece duas vezes no texto. Nas duas vezes que aparece, ela pertencente a classe N (Substantivo Comum). Ento divide-se a quantidade de vezes que a palavra aparece em um estado x pela ocorrncia total dessa mesma palavra. Casualmente, a palavra cidade aparece duas vezes no texto, e as duas vezes ela est no estado N, o que resultaria em uma probabilidade de 100% de ocorrer a palavra cidade no estado N. O clculo das probabilidades da matriz E realizado atravs da seguinte frmula:
P (Op |S) = Op S ; Op

(5.1)

a ocorrncia da palavra p no estado S; Op a ocorrncia total da palavra p. Realizando este clculo para todas as palavras (smbolos) em todos os estados obtem-se a matriz de probabilidades de emisso de smbolos em um estado. O vetor de probabilidades iniciais calculado analisando os estados que iniciam frases, no caso do texto marcado tem-se somente um estado que inicia frases, nas duas vezes que uma frase iniciada ela est no estado ARTD. Neste caso fcil de tirar a concluso que a probabilidade do modelo iniciar no estado ARTD 100%. Outro exemplo da utilizao dos Modelos Ocultos de Markov o clssico exemplo do Cassino, que possu dados corretos e dados viciados, e estes dados so trocados de forma aleatria. O exemplo mostra um Modelo Oculto de Markov e pode ser explicado da seguinte forma: Imagine que se est em um Cassino, mais precisamente em um jogo de dados. Nesse jogo lanado um dado a cada jogada, porm o Cassino no revela qual dado lanado. Sabe-se tambm que o Cassino possui dois dados (um viciado e um normal). Outra informao importante que o Cassino sempre comea um jogo com o dado honesto. De acordo com as probabilidades deste exemplo, possvel montar um Modelo Oculto de Markov. Exemplo do Cassino:
Op S

P (Op |S) a probabilidade da palavra p no estado S;

Dado 1 (d1 ) = Dado Honesto: P (1, 2, 3, 4, 5, 6) = 1 6

1 Dado 2 (d2 )= Dado Desonesto: P (1, 2, 3, 4, 5) = 10 e P (6) = 1 2

De vez em quando o Cassino troca os dados para que sejam feitos novos lanamentos.

16
Honesto Honesto =
5 100

; ; ; .

Honesto Desonesto = Desonesto Honesto =

95 100 10 100

Desonesto Desonesto =

90 100

A partir da descrio deste caso, pode-se obter um Modelo Oculto de Markov onde os estados so o tipo de dado (Honesto ou Desonesto), o conjuto de observaes possveis so os nmeros existentes nos dados {1,2,3,4,5,6}, a matriz de transio de estados montada a partir das probabilidades de transio dos dados e a matriz de probabilidades de emisso dos dados construda atravs da informao das probabilidades de cada observao no Dado Honesto ou no Dado Desonesto. As probabilidades iniciais so obtidas atravs da informao de que o Cassino sempre comea os lanamentos com o Dado Honesto. No caso do exemplo do Cassino tem-se o modelo que mostrado logo a seguir: Cassino:
A= 0.95 0.05 0.166 0.166 0.166 0.166 0.10 0.90 0.100 0.100 0.100 0.100

E= 0.166 0.100 0.166 0.500 Q = {d1 , d2 } = {1, 2, 3, 4, 5, 6} = [1, 0]

No caso dos dados, aps 10 lanamentos pode-se ter a seguinte seqncia de observaes (representada por S ):
S = {1, 3, 6, 1, 1, 2, 2, 2, 3, 6}

Obviamente os smbolos observados devem pertencer ao conjunto .

5.1 Problemas relacionados aos Modelos Ocultos de Markov

O estudo dos Modelos Ocultos de Markov feito tradicionalmente resolvendo trs problemas fundamentais (RABINER, 1989). importante solucionar esses problemas, pois a partir deles que se pode ter modelos melhores (mais otimizados) para uma

17

determinada seqncia de observaes. Outro aspecto que deve ser considerado na soluo destes problemas a busca de algoritmos ecientes para produo de um resultado satisfatrio. A soluo de um destes problemas de fundamental importncia para o processo de etiquetagem baseado em Modelos Ocultos de Markov. Este problema consiste em achar a melhor seqncia de estados para uma determinada seqncia de observaes. Mais adiante ser descrito mais detalhadamente os problemas e as respectivas solues. As denies dos problemas e as suas respectivas solues so apresentadas nos itens a seguir:

Problema 1 (Problema da Avaliao): este problema consiste em como calcular a

probabilidade de uma seqncia de observaes dado um modelo, ou seja, calcular a melhor probabilidade de uma seqncia para um modelo. Para solucionar este problema utilizado o Algoritmo Forward e Backward.

um modelo precisa-se encontrar uma seqncia de estados que melhor explique (segundo algum critrio preciso) a gerao da seqncia de observaes. Para solucionar este problema utilizado o Algoritmo de Viterbi.

Problema 2 (Problema da Decodicao): para uma seqncia de observaes e

parmetros de um Modelo de modo que a probabilidade de uma seqncia de observaes seja maximizada. Para solucionar este problema utilizado o Algoritmo de Baum Welch.

Problema 3 (Estimao de Parmetros): relaciona-se a forma de como se ajustar os

5.2 Aplicaes dos Modelos Ocultos de Markov

O estudo dos Modelos Ocultos de Markov tm uma vasta aplicao em diversas reas, como, por exemplo, cincias sociais, biolgicas e administrativas (DIMURO et al., 2002). Os Modelos Ocultos de Markov surgiram em aplicaes relacionadas ao domnio de reconhecimento de fala (RABINER, 1989). O reconhecimento de fonemas possui uma vasta aplicao e diversas formas de implementao. Uma das formas de implementao de reconhecimento de fonemas est descrito em (FRAGA, 2001). De forma geral, estes modelos podem ser aplicados em problemas cujo objetivo tratar reconhecimento de padres. De acordo com (OLIVEIRA, 2003), alguns exemplos so: Controle de Precipitao, Econometria, Reconhecimento de Imagem, etc. Uma nova rea de aplicao dos Modelos Ocultos de Markov so as redes de computadores, especicamente, a deteco de ataques em redes de computadores como descreve (OURSTON et al., 2003).

18

Outra rea de grande interesse e de vasta aplicao dos Modelos Ocultos de Markov a Biologia Computacional, mais especicamente, Alinhamento de Seqncias Biolgicas. O trabalho (BRITO, 2003) cita a aplicao dos Modelos Ocultos de Markov em Alinhamentos de Seqncias. Em (SILVA, 2002) possvel encontrar aplicaes dos Modelos Ocultos de Markov na gentica (Alinhamento mltiplo, bacterifago lambda e Xylella fastidiosa). Na rea da Meteorologia, os Modelos Ocultos de Markov tambm so muito aplicados. (HUGHES; GUTTORP; CHARLES, 1996) mostra um Modelo Oculto de Markov que relaciona a ocorrncia de preciptaes em vrias estaes meteorolgicas e padres atmosfricos de circulao.