Anais do 15O Encontro de Iniciao Cientfica e Ps-Graduao do ITA XV ENCITA / 2009 Instituto Tecnolgico de Aeronutica, So Jos dos Campos,

, SP, Brasil, Outubro, 19 a 22, 2009.

INDUO DA ESTRUTURA DE REDES BAYESIANAS

Alexandre Hideki Deguchi Martani Instituto Tecnolgico de Aeronutica Praa Marechal Eduardo Gomes, 50 - Vila das Accias CEP 12.228-900 So Jos dos Campos SP Brasil
Bolsista PIBIC-CNPq amartani@aluno.ita.br

Carlos Henrique Quartucci Forster Instituto Tecnolgico de Aeronutica Praa Marechal Eduardo Gomes, 50 - Vila das Accias CEP 12.228-900 So Jos dos Campos SP Brasil
forster@ita.br Resumo. As redes bayesianas so modelos, na forma de grafos, que representam um conjunto de variveis aleatrias e

as dependncias probabilsticas entre elas. A criao de uma rede bayesiana usual depende fortemente de um conjunto de conhecimentos j obtidos, para se estabelecer as dependncias iniciais entre as variveis. Neste trabalho, ser desenvolvido e implementado um algoritmo que permita, a partir de certa massa de dados, induzir a estrutura de uma rede bayesiana que seja compatvel com estes dados. Palavras chave: inteligncia artificial, redes bayesianas, aprendizagem de mquina. 1. Introduo O desenvolvimento da inteligncia artificial motivado pela necessidade de criar programas de computador que tomem decises baseado em um conjunto de evidncias conhecidas. Os agentes mais simples de tomadas de deciso utilizam somente fatos conhecidos, ou seja, proposies consideradas verdadeiras ou falsas, para derivar, a partir de teorias da lgica matemtica, outras proposies, que os permitam tomarem decises. Porm, em problemas reais, dificilmente o agente tem acesso a todas as informaes necessrias para se chegar, de forma exata, concluso desejada. Para superar esta limitao, os agentes precisam ser adaptados para agir sobre incerteza. (Russel, Norvig; 2003) Para lidar com essa situao, necessrio desenvolver teorias que trabalhem com probabilidades. H vrias teorias distintas, que partem de diferentes axiomas, sendo a mais comum a lgica bayesiana, que ser a utilizada neste trabalho. Outros sistemas de probabilidades incluem a lgica fuzzy (Klir, Yuan; 1995) e a teoria de Dampster-Shafer (Shafer; 2002). Na lgica bayesiana, definem-se variveis aleatrias, que so eventos na qual h algum grau de incerteza sobre a verdadeira ocorrncia do mesmo. Para correlacionar as variveis, constroem-se tabelas de probabilidade, que relacionam o valor das variveis aleatrias com a probabilidade da combinao ocorrer. Um exemplo de tabela de probabilidades com trs variveis aleatrias mostrado na Tab. 1. Tabela 1. Exemplo de tabela de probabilidades de trs variveis aleatrias. A B C Probabilidade F F F 17 % F F V 12 % F V F 7% F V V 9% V F F 6% V F V 15 % V V F 21 % V V V 13 % A desvantagem de se usar as tabelas de probabilidade que elas crescem exponencialmente com o nmero de variveis aleatrias, tornando-se pouco prticas com problemas que exigem um nmero maior de variveis. Se for conhecido quais variveis so independentes e quais podem afetar as outras, possvel eliminar grande parte das linhas da tabela de probabilidades. Para isso, desenvolveu-se a ferramenta de redes bayesianas, que so modelos, na forma de grafos, que representam as variveis aleatrias e as dependncias probabilsticas entre elas. Alguns

Anais do XV ENCITA 2009, ITA, Outubro, 19-22, 2009 ,

pesquisadores consideram esta uma das ferramentas mais importantes no desenvolvimento da inteligncia artificial que surgiram nas ultimas dcadas. (Moore, 2001) Com a utilizao das redes bayesianas, possvel aplicar o conhecimento sobre as dependncias entre as variveis aleatrias de forma a diminuir a quantidade de informaes necessrias para descrever o conjunto de probabilidades, alm de tornar mais fcil sua visualizao. Esse recurso foi aplicado com sucesso em diversas reas, tais como reconhecimento de padres (Xiao, Leedham; 2002) e bioinformtica (Zou, Conzen; 2005). A modelagem usual de uma rede bayesiana feita a partir de conhecimentos j obtidos sobre a dependncia entre as variveis aleatrias. Conseguir modelar uma rede a partir de outras fontes pode ter aplicaes em teste de hipteses, descobertas cientficas automatizadas e construo automatizada de sistemas probabilsticos avanados. Pode-se, por exemplo, utilizar dados obtidos experimentalmente para tentar descobrir relaes de causas e conseqncias dos eventos pesquisados (Cooper, Herskovits; 1992). Neste trabalho, ser desenvolvido e implementado um algoritmo que permita, a partir de certa massa de dados, induzir a estrutura de uma rede bayesiana que seja compatvel com estes dados. 2. Construo e inferncia em redes bayesianas A principal utilizao das redes bayesianas a inferncia de probabilidades, ou seja, conhecer a probabilidade de ocorrer um evento dado um conjunto de evidncias disponveis. Um exemplo simples, usualmente usado como ilustrao, o caso de um alarme contra ladres. Nesta situao hipottica, instalado em uma casa um alarme, situada em uma regio com terremotos freqentes. Por algum defeito no alarme, possvel que ele seja acionado por causa do terremoto. Antes de uma viagem, o dono da casa pede para dois vizinhos o ligar, caso o alarme toque. Durante a viagem, o dono da casa recebe a ligao, e quer saber qual a probabilidade de realmente sua casa estar sendo invadida. Como ele sabe do defeito do alarme, ele imagina que pode ser resultado de um terremoto, e procura notcias sobre o mesmo. Esta situao pode ser resumida pela rede ilustrada na Fig. 1. Por ser simples, esta rede foi escolhida como ponto de partida para adquirir familiaridade com o assunto.

Figura 1. Exemplo de rede bayesiana simples As redes bayesianas so utilizadas em problemas que envolvem incertezas em grandes quantidades de variveis aleatrias. Lidar com tal quantidade de dados uma tarefa complicada e que exige um planejamento. Ao modelar um problema, necessrio balancear a preciso com que se desejam as respostas e os recursos computacionais disponveis. Um modelo detalhado, com mais evidncias, pode dar resultados mais precisos, porm, pode acabar se tornando um problema computacionalmente impraticvel. Assim, o primeiro passo para a implementao foi o planejamento das ferramentas que seriam utilizadas na mesma. Para a construo da rede bayesiana, foi escolhida, como linguagem de programao, Python, por ser uma linguagem dinmica, que permite rpida prototipagem, e cujo aluno possui grande familiaridade. Alm disso, foram utilizadas as bibliotecas NumPy, que contm ferramentas para clculo numrico com boa performance, e PyDot, para a visualizao de grafos. Como, nos experimentos realizados, no foi construda nenhuma rede muito grande e no foi feito nenhum tipo de clculo em tempo real, no houve problemas de desempenho. Foram codificadas duas classes, uma representando uma varivel aleatria (um n do grafo), e outra representando uma rede bayesiana, com mtodos simples para modelar a rede, ou seja, adicionar eventos, relacionar probabilidades, e adicionar evidncias. Foi feito tambm um mtodo que utiliza da biblioteca PyDot para salvar em um arquivo uma imagem com a representao do grafo correspondente rede criada. Mesmo em uma rede bayesiana pequena, a quantidade de valores que precisam ser armazenadas para preencher todas as tabelas de probabilidade considervel, podendo crescer exponencialmente com o nmero de variveis aleatrias. Porm, em muitos casos, possvel adotar modelos simplificados, denominadas formas cannicas, que

Anais do XV ENCITA 2009, ITA, Outubro, 19-22, 2009 ,

permitem construir uma tabela de probabilidade inteira com poucos valores. Neste trabalho, foi adotado o modelo do Noise-OR. Neste modelo, suposto que, primeiro, para cada varivel, todas as possveis causas esto listadas (caso no se conhea todas as causas, basta adicionar uma varivel para causas diversas). Alm disso, suposto que todas as causas interfiram de modo independente no acontecimento da varivel. Assim, possvel associar a cada causa um parmetro de rudo (noise parameter), que a probabilidade da conseqncia no ocorrer, quando somente aquela causa ocorre. Com essas hipteses, possvel provar que a probabilidade de uma varivel aleatria ser falsa o produto dos parmetros de rudo das causas que so verdadeiras naquele evento (Cozman; 2004). Como estas hipteses so, em muitas situaes, bastante razoveis, a implementao feita neste trabalho a adotou, porm, tomando-se o cuidado de tornar fcil a sua modificao para outros modelos, bastando-se apenas alterar os mtodos que constroem as tabelas de probabilidade. Para aplicar este modelo situao anterior, necessrio incluir eventos de causas diversas. O alarme, por exemplo, pode acabar tocando por outros motivos que no sejam um roubo nem um terremoto. Os vizinhos tambm podem acabar ouvindo alguma outra coisa, que no o alarme, e se confundirem, ou ento ligar por algum outro motivo. Adotando probabilidades hipotticas, foi construda a rede bayesiana mostrada na Fig. 2.

Figura 2. Rede bayesiana utilizada no estudo inicial. Os nmeros prximos aos ns razes representam suas probabilidades priori, e nos vrtices os nmeros complementares seus parmetros de rudo, ou seja, a probabilidade do n pai causar, independentemente, o fato do n filho. Com a modelagem concluda, o prximo passo executado foi a implementao de algoritmos de inferncia com base nesta rede. Uma inferncia numa rede bayesiana o problema de, dado um conjunto de evidncias que so conhecidas verdadeiras ou falsas, determinar-se a probabilidade de outro fato ter ou no ocorrido. O problema da inferncia em redes bayesianas , no caso geral, de classe NP-Hard (Cooper; 1987). Porm, para redes no cclicas, ou seja, na qual no h dois caminhos distintos entre dois ns do grafo, o problema pode ser resolvido em tempo linear. Assim, para redes bayesianas maiores, pode-se tentar simplificar o problema para uma rede no cclica, ou, quando isto no possvel, utiliza-se algoritmos estocsticos. A partir do modelo construdo, foram implementados trs algoritmos simples de inferncia, sendo um determinstico, vlido somente para redes no cclicas, e dois estocsticos, vlidos para quaisquer tipos de redes. O primeiro algoritmo, enumeration ask, atua analisando todos os eventos possveis (ou seja, todas as combinaes de valores verdadeiro/falso para cada varivel aleatria), e computando a probabilidade da mesma ocorrer, que o produto de todas as entradas correspondentes das tabelas de probabilidade. Como o nmero de combinaes possveis em n variveis 2n, este algoritmo tem complexidade O(2n), se tornando impraticvel em redes muito grandes. Os algoritmos estocsticos se baseiam na construo de um nmero grande de eventos de amostra, e, com isso, analisam a quantidade de vezes que a varivel em questo assume cada valor. O primeiro implementado foi o rejection sampling. Este gera eventos a partir das probabilidades, retiradas das tabelas de probabilidade. Iterando-se sobre cada varivel aleatria, ordenadas de forma a escolher-se sempre os ns pais antes dos filhos, verifica-se a probabilidade de o evento ser verdadeiro, com base no valor-verdade dos pais, e este assume, com esta probabilidade, o valor verdadeiro. Aps gerar o evento, verifica-se se as evidncias foram satisfeitas, se no forem, o evento descartado. Ento, incrementa-se um contador, se a varivel em questo for verdadeira neste evento, e outra se esta for falsa. Normalizando-se estes contadores (de forma que sua soma seja 1), obtm-se a probabilidade desejada. A principal desvantagem deste mtodo a rejeio de eventos. Se as evidncias consideradas forem muito improvveis, praticamente todas as amostras sero rejeitadas, tornando o processo pouco eficiente. O ltimo algoritmo, likelihood weighting, contorna este problema ao gerar somente eventos compatveis com as evidncias. Para isso, cada evento associado a um peso, gerado pela probabilidade de se ocorrerem as evidncias, dados as outras variveis aleatrias j escolhidas. Os trs algoritmos so descritos em detalhes em Russell, Norvig (2002).

Anais do XV ENCITA 2009, ITA, Outubro, 19-22, 2009 ,

Foram aplicados os trs algoritmos na rede descrita anteriormente, utilizando diferentes conjuntos de evidncias. Em todos os casos, foi executado o enumeration ask uma vez e os outros algoritmos, por serem estocsticos, foram executados 20 vezes, e calculou-se a mdia e o desvio padro das respostas. Primeiro, supomos que se receba somente uma ligao de Mary, e queira-se saber qual a probabilidade da casa estar sendo roubada. Para isso, executa-se o algoritmo, passando-se como evidncia MaryLiga=Verdadeiro e JohnLiga=Falso, e perguntando-se a probabilidade do evento Roubo ser verdadeiro. Os resultados so mostrados na tabela 2. Tabela 2. Resultados dos algoritmos na primeira situao: P(Roubo|MaryLiga=Verdadeiro e JohnLiga=Falso). Algoritmo Probabilidade Desvio Padro Enumeration ask 0.0758 Rejection sampling 0.083 0.017 Likelihood weighting 0.077 0.008 Como esperado, as probabilidades geradas pelos algoritmos estocsticos concordam com a gerada pelo primeiro, considerando o desvio padro, o que mostra que eles esto funcionando corretamente. A probabilidade encontrada bem pequena. Isso ocorre, pois a probabilidade priori da casa estar sendo assaltada muito pequena, o que faz com que os outros fatores sejam mais relevantes. Alm disso, como John no ligou, se torna tambm bastante provvel que o alarme no tenha tocado, e Mary ligou por outro motivo. Agora, supondo que tenha recebido a ligao dos dois vizinhos, obtiveram-se os resultados mostrados na Tab. 3. Tabela 3. Resultados dos JohnLiga=Verdadeiro). Algoritmo Enumeration ask Rejection sampling Likelihood weighting algoritmos na segunda situao: P(Roubo|MaryLiga=Verdadeiro Desvio Padro 0.042 0.029 e

Probabilidade 0.4991 0.517 0.501

A probabilidade aumentou bastante, pois agora, recebendo as duas ligaes, muito provvel que o alarme tenha realmente tocado. Mas ainda assim, muito baixa para se afirmar se a casa est ou no sendo assaltada. Como o alarme tem o defeito de disparar com terremotos, o dono da casa procura se informar se houve ou no a ocorrncia de algum terremoto na regio. Primeiramente, vamos supor que ele no encontra nenhum anncio, ou seja, NoticiaTerremoto=Falso. Nesta situao, obtiveram-se os resultados mostrados na Tab. 4. Tabela 4. Resultados dos algoritmos na terceira situao: P(Roubo|MaryLiga=Verdadeiro, JohnLiga=Verdadeiro e NoticiaTerremoto=Falso). Algoritmo Probabilidade Desvio Padro Enumeration ask 0.8208 Rejection sampling 0.808 0.036 Likelihood weighting 0.501 0.029 Ao no encontrar nenhuma notcia sobre o terremoto, a probabilidade de realmente ter havido um roubo aumenta consideravelmente. Por fim, vamos supor que ele encontrou uma notcia sobre o terremoto. Nesta situao, obtiveramse os resultados mostrados na Tab. 5. Tabela 5. Resultados dos algoritmos na terceira situao: P(Roubo|MaryLiga=Verdadeiro, JohnLiga=Verdadeiro e NoticiaTerremoto=Verdadeiro). Algoritmo Probabilidade Desvio Padro Enumeration ask 0.0034 Rejection sampling 0.0050 0.0089 Likelihood weighting 0.0054 0.0070 Nesta ltima situao, a notcia sobre o terremoto fez a probabilidade de a casa estar sendo roubada se tornar praticamente nula. Por causa da baixa probabilidade, os algoritmos estocsticos tiveram maior desvio relativo, o que indica a necessidade de se fazer um maior nmero de iteraes quando se lida com probabilidades muito pequenas. Os resultados obtidos mostram a eficcia dos algoritmos, que resultaram em respostas compatveis com a situao apresentada. Entre os algoritmos estocsticos, perceptvel que o likelihood weighting obteve menor desvio padro, conseqncia de no ter de rejeitar eventos, tornando maior o nmero de amostras consideradas. 3. Induo da estrutura de redes bayesianas

Anais do XV ENCITA 2009, ITA, Outubro, 19-22, 2009 ,

A fim de servir de base para o problema de induo da estrutura da rede bayesiana, foi criado um conjunto de testes a partir da rede estudada anteriormente. Foram gerados um conjunto de 100 mil eventos de forma compatvel com as probabilidades apresentadas na rede, utilizando-se o algoritmo que gera eventos utilizado pelo enumeration ask. A partir desta base de dados, ser pesquisado um algoritmo que permita induzir a estrutura da rede bayesiana que gerou o mesmo. Dado um conjunto de n vrtices, o nmero de dgrafos acclicos possveis de se obter a partir destes dado pela recorrncia expressa pela Eq. 1 (Robinson; 1973).

=
=1

(1)1

() 2

(1)

Esta recorrncia uma super-exponencial em n, crescendo muito rapidamente. No caso da rede tomada como exemplo, com 9 ns, o nmero total de dgrafos possveis da ordem de 1015. Assim, mesmo para pequenos conjuntos de vrtices, se torna invivel utilizar quaisquer algoritmos que necessitem verificar todos, ou grande parte, dos grafos possveis. necessrio que se parta de uma estrutura hipottica e, a partir de modificaes sucessivas na mesma, criar um modo de convergir para uma estrutura que represente melhor os dados coletados. Para permitir a criao de tal algoritmo, programaram-se mtodos que permitam adicionar, remover ou inverter arcos da rede. Outro ponto importante a ser ressaltado que impossvel determinar univocamente a estrutura de uma rede bayesiana somente a partir de eventos, mesmo que o nmero destes seja infinito. Isto ocorre pois vrios grafos distintos acclicos podem representar as mesmas independncias condicionais; neste caso, estes grafos so chamados equivalentes de Markov. Partindo-se somente dos eventos, possvel somente encontrar uma estrutura a menos de um equivalente de Markov. A demonstrao deste teorema feita em (Flesch, Lucas; 2007). Para contornar este problema, os algoritmos assumem uma ordem entre os ns dos grafos, a partir da qual cada n s pode ter como pai um n anterior a ele nesta ordem. Esta ordem foi escolhida de forma aleatria, respeitando a condio do grafo original. A induo da estrutura da rede bayesiana ser feita pela unio de dois procedimentos, um de avaliao, que determinar o quo bem uma estrutura se encaixa no conjunto de eventos fornecidos, e um de procura, que determinar quais estruturas sero avaliadas. A combinao destes dois procedimentos resultar na estrutura que ser escolhida. Para avaliar uma estrutura, necessrio considerar o quo bem a mesma descreve os dados disponveis, e tentar evitar os excessos de arestas. Se forem aplicados diretamente mtodos de mxima verossimilhana com os dados, o resultado ser uma rede com muitas arestas, visto que adicionar mais arestas sempre melhorar o quo bem os dados se encaixam na mesma. Assim, necessrio penalizar a estrutura se ela contiver quantidade excessiva de arestas. Para isso, ser utilizado o Bayesian information criterion (BIC), descrito em Friedman, 1997. Neste critrio, a pontuao de uma estrutura dada pela Eq. 2. L=

N , log

N , N

log 2

(2)

Onde so os valores possveis do n i (no caso, somente verdadeiro ou falso), so todas as possveis combinaes de valores possveis dos pais de , a quantidade total de eventos da base de dados, N o nmero de eventos na base de dados no qual a condio S satisfeita, e o nmero de parmetros necessrios para descrever a rede. Nesta frmula, o primeiro termo o logaritmo da funo de semelhana da rede bayesiana, e o segundo termo funciona como uma punio para um nmero excessivo de arestas. Assim, necessrio encontrar uma rede bayesiana que maximize sua pontuao. Primeiramente, esta maximizao foi feita utilizando-se um simples algoritmo de Hill-climbing, que consiste em iniciar de uma configurao aleatria, fazer alguma modificao, e verificar se esta modificao melhora a pontuao do objeto. Caso melhore, a rede original substituda pela nova, sendo ento o algoritmo repetido diversas vezes, at que no se perceba mais alteraes por vrias iteraes consecutivas. Este algoritmo permite chegar em um mximo local de pontuao, que no necessariamente global, mas que, para este problema, acaba usualmente convergindo para o mesmo ou para uma configurao prxima. (Heckerman; 1995) Para comparar e aumentar a probabilidade de se obter um mximo global, programou-se um algoritmo de simulated annealing. Este uma modificao do algoritmo anterior, onde dada uma probabilidade de efetuar passagem de uma estrutura para outra de maior pontuao, dependendo de um parmetro comumente chamado de temperatura, que diminui conforme as iteraes. Assim, no incio, as transies so livres, podendo ir de um patamar de melhor pontuao para um de pior pontuao. Isto permite com que se escape de mnimos locais, aumentando a probabilidade de se convergir para um mximo global. Estas transies se tornam mais improvveis com a diminuio do parmetro de temperatura.

Anais do XV ENCITA 2009, ITA, Outubro, 19-22, 2009 ,

Foram executados o primeiro algoritmo duas vezes, com o mesmo resultado em ambas as execues, e o segundo algoritmo quatro vezes, pelo fato deste ser mais influenciado pela velocidade de diminuio da temperatura. Foi tambm calculado a pontuao da estrutura verdadeira, para fins de comparao. As estruturas finais e as pontuaes das mesmas so mostradas na Tab. 6 e na Fig. 3. Figura 3. Grafos induzidos pelos algoritmos aplicados.

Figura 3a. Algoritmo Uphill.

Figura 3b. Algoritmo Simulated Annealing com 300 iteraes.

Figura 3c. Algoritmo Simulated Annealing com 1000 iteraes.

Anais do XV ENCITA 2009, ITA, Outubro, 19-22, 2009 ,

Figura 3d. Algoritmo Simulated Annealing com 3000 iteraes.

Figura 3e. Algoritmo Simulated Annealing com 10000 iteraes. Tabela 6. Pontuaes finais dos grafos induzidos a partir dos eventos gerados. Algoritmo Iteraes Pontuao final Estrutura original -131521 Hill-climbing 1000 -131617 Simulated annealing 300 -131586 Simulated annealing 1000 -131555 Simulated annealing 3000 -131560 Simulated annealing 10000 -131532 possvel observar a veracidade da funo de avaliao, visto que a estrutura original foi melhor avaliada do que todas as outras estruturas encontradas. Os algoritmos de busca se mostraram bastante eficientes, obtendo resultados prximos ao esperado. Em especial, perceptvel que o algoritmo simulated annealing, ao utilizar maior nmero de iteraes, se torna mais eficaz, com uma pontuao final crescente. No ltimo caso, o dgrafo obtido muito prximo ao original, com somente uma aresta de diferena. 4. Agradecimentos Ao orientador Prof. Carlos Henrique Quartucci Forster, por me dar a oportunidade de realizar esta pesquisa e me guiar durante o desenvolvimento desta. Ao Conselho Nacional de Desenvolvimento Cientfico e Tecnolgico (CNPq) por patrocinar esta pesquisa, atravs do Programa Institucional de Bolsas de Iniciao Cientfica PIBIC. Ao Instituto Tecnolgico de Aeronutica e seu corpo docente, por proporcionar minha formao acadmica. Aos meus amigos e familiares, que me apoiaram durante o percurso desta pesquisa. 5. Referncias Cooper, G. F. Probabilistic Inference using Belief Networks is NP-Hard. Stanford, CA, USA: Knowledge Systems Laboratory, Stanford University, 1987.

Anais do XV ENCITA 2009, ITA, Outubro, 19-22, 2009 ,

Cooper, G. F.; Herskovits, E. A Bayesian Method for the Induction of Probabilistic Networks from Data. Machine Learning Volume 9, Number 4. Flesch, I; Lucas, P. Markov Equivalence in Bayesian Networks. In: Flesch, I. at al. (Org.) Advances in probabilistic graphical models. Berlin: Springer, 2007. p. 3-38. Friedman, N. Learning Belief Networks in the Presence of Missing Values and Hidden Variables. In: International Conference on Machine Learning, 14, 1997, San Francisco, CA, USA. Proceedings Heckerman, D. A Tutorial on Learning with Bayesian Networks. Redmond, USA: Microsoft Research, Mar. 1995. Disponvel em: <http://research.microsoft.com/pubs/69588/tr-95-06.pdf> Klir, G. J.; Yuan, B. Fuzzy sets and fuzzy logic: theory and applications. Upper Saddle River, NJ, USA: Prentice Hall PTR, 1995. ISBN 0-13-101171-5. Niedermayer, D. An Introduction to Bayesian Networks and Their Contemporary Applications. Dez. 1998. Robinson, R. W. Sequence A003024. In: Sloane, N. J. A. (Ed.) The On-Line Encyclopedia of Integer Sequences. 2009. Disponvel em: < http://www.research.att.com/~njas/sequences/A003024> Russell, S. J.; Norvig, P. Artificial Intelligence, A Modern Approach. 2nd ed. Upper Saddle River, New Jersey, USA: Pearson Education, 2003. Shafer, G.; Dempster-Shafer theory. 2002. Disponvel em: <http://www.glennshafer.com/assets/downloads/articles/article48.pdf> Xiao, X.; Leedham, G. Signature Verification Using A Modified Bayesian Network. Pattern Recognition, 35 (5): 983-995 May 2002. ISSN: 0031-3203. Zou, M; Conzen, Sd. A New Dynamic Bayesian Network (DBN) Approach for Identifying Gene Regulatory Networks from Time Course Microarray Data. Bioinformatics, 21 (1): 71-79 Jan 1 2005. ISSN: 1367-4803.