INSTITUTO FEDERAL DE EDUCAO, CINCIA E TECNOLOGIA DO SUDESTE DE MINAS GERAIS CAMPUS RIO POMBA

Marcos Vincius Montanari

Uma comparao entre a arquitetura M5P por reforo com o algoritmo gentico para emergncia de comportamentos em sistemas multiagentes

Rio Pomba 2011

Marcos Vincius Montanari

Uma comparao entre a arquitetura M5P por reforo com o algoritmo gentico para emergncia de comportamentos em sistemas multiagentes

Trabalho de Concluso de Curso apresentado ao Instituto Federal de Educao Cincia e Tecnologia do Sudeste de Minas Campus Rio Pomba, como requisito parcial para a concluso do Curso de Graduao em Cincia da Computao. Orientador: Alex Fernandes da Veiga Machado

Rio Pomba 2011

Ficha Catalogrfica elaborada pela Biblioteca ____ IFET/RP Bibliotecria: ____________ n_______

FOLHA DE APROVAO

MONTANARI, Marcos Vincius. Uma comparao entre a arquitetura M5P por reforo com o algoritmo gentico para emergncia de comportamentos em sistemas multiagentes. Trabalho de Concluso de Curso, apresentado como requisito parcial concluso do curso Graduao em Cincia da Computao, do Instituto Federal de Educao Cincia e Tecnologia do Sudeste de Minas Campus Rio Pomba, realizada no 2 semestre de 2011.

BANCA EXAMINADORA

____________________________________________________________ Prof. Ms...... Orientador

____________________________________________________________ Prof. Dr....... Membro convidado 1

____________________________________________________________ Prof...... Membro convidado 2

Examinado (a) em: ____/____/______.

Aos meus pais, que em todos os momentos difceis de minha vida, tm intercedido junto a DEUS, pelo meu sucesso e felicidade.

AGRADECIMENTOS

A Deus por tudo que me proporciona na vida. minha me e meu pai, os quais amo muito, pelo exemplo de vida e famlia. A minha irm por tudo que me ajudou at hoje. A meus amigos, que estiveram sempre comigo, me ajudando sempre que precisei.

RESUMO

MONTANARI, Marcos Vincius. Uma comparao entre a arquitetura M5P por reforo com o algoritmo gentico para emergncia de comportamentos em sistemas multiagentes Trabalho de Concluso de Curso (Graduao em Cincia da Computao). Instituto Federal de Educao Cincia e Tecnologia do Sudeste de Minas Campus Rio Pomba, Rio Pomba, 2011 A Arquitetura utilizando M5P e aprendizagem por reforo [1] um novo modelo aplicado a agentes inteligentes. Ela permite ao indivduo a aprender e se adaptar a ambientes complexos em tempo real, com treinamento on-line e sem superviso. Neste trabalho so realizados diversas investigaes com o objetivo de melhorar esta arquitetura, tais como otimizaes em sua implementao, testes de desempenho em ambientes multiagentes e estabilizao de regras. Devido a possuir caractersticas em comuns, delineado as diferenas entre este modelo e os Sistemas Classificadores. A utilizao dos Algoritmos Genticos nessa arquitetura, uma tentativa de melhorar o desempenho dessa implementao. Palavras-chave: M5P, aprendizagem por reforo, agentes inteligentes, algoritmos genticos

ABSTRACT

Architecture and M5P using reinforcement learning [1] is a new model applied to intelligent agents. It time, allows online one to learn and adapt to complex

environments in real work carried

training and

without supervision. This order to improve

out several

investigations in

this architecture, such as optimizations in its implementation, performance tests on multi-agent environments and in common, is outlined the stabilization rules. Due to this possess features

differences between

model and Classifier

Systems. The use of genetic algorithms in this architecture, is an attempt to improve the performance of this implementation.

Keywords: M5P, reinforcement learning, intelligent agents, genetic algorithms

SUMRIO

1-INTRODUO.............................................................................................. 1 2-RELAO ENTRE A ARQUITETURA E OS SISTEMAS

CLASSIFICADORES ...................................................................................... 3 3-CONCEITOS BSICOS ............................................................................... 5 4-ALGORITMO M5P ....................................................................................... 8 5-VANTAGENS DO APRENDIZADO COM M5P............................................ 9 6-ALGORITMOS GENTICOS........................................................................ 9 7-CARACTERSTICAS PRESENTES NOS ALGORITMOS GENTICOS .. 13 8-ESTUDO DE CASO .................................................................................... 15 9-ALGORITMO GENTICO X M5P .............................................................. 15 10-CONCLUSO ........................................................................................... 16 REFERNCIAS .............................................................................................. 17

1-INTRODUO

Um dos principais objetivos deste trabalho buscar uma forma possvel de se criar comunidades virtuais baseadas em personagens no - jogveis (NPC), onde esses NPCs, tambm chamados de agentes, comportem-se de maneira semelhante ao humanos, com base em interaes globais de forma imprevisvel e emergente. Na maioria dos trabalhos referentes a sistemas multiagentes ficam concentrados na existncia de um modulo baseado em regras, com adaptaes limitadas.

Este trabalho prope uma arquitetura baseada em agentes inteligentes, onde cada um desses agentes sejam capazes de definir sua rotina de vida e se adaptar a qualquer tipo de mudana no ambiente. Neste caso o agente inserido em uma sociedade onde os personagens tm as mesmas caractersticas, e no decorrer do tempo eles buscam melhorar estas caractersticas de acordo com o ambiente em que esto inseridos. Em jogos digitais, o processo de aprendizagem pode ser feito de duas maneiras diferentes, com base em comportamentos adaptativos [10]: online e aprendizagem off-line. A abordagem on-line mostra mais eficincia, j que implica em decidir como o comportamento de um agente deve mudar em resposta a informaes capturadas do mundo. A soluo off-line aplicada em ambientes delimitados mais especficos.

Entre as tcnicas de aprendizagem de mquina mais utilizadas, podemos destacar as redes neurais, algoritmos genticos, algoritmos bayesianos e rvores de deciso. Normalmente motores de jogo no incluem

implementaes de tais tcnicas, o que sugere que os desenvolvedores devem usar pacotes de software separado. Para resolver problemas de jogos eletrnicos, existem algumas solues que incorporam os requisitos

normalmente exigidos. Um destes pacotes WEKA [17], que inclui muitos

1

algoritmos

de

aprendizagem

de

mquina

diferentes.

Em geral, o uso de aprendizagem de mquina no desenvolvimento de jogos digitais ou evitado ou reduzido, porque considerado de alto risco. No entanto, este fato ocorre provavelmente devido ao fato de que as redes neurais, que uma tecnologia difcil de implantar a escolha mais utilizada atualmente [25]. Estudos relacionados ao aprendizado de mquina e ao desenvolvimento de tcnicas e algoritmos que permitem que computadores aprendam a realizar tarefas com base em dados empricos mostram que uma das tarefas mais comumente estudada em aprendizagem de mquina a classificao, que consiste no mapeamento de uma instncia representada por um conjunto de atributos em uma classe. O aprendizado feito geralmente utilizando como entrada um banco de dados de casos rotulados tambm chamado de base de exemplo ou base de instncia [26].

Para jogos digitais h muitos benefcios e razes para a utilizao destas tcnicas, como a adaptao do jogo para os perfis dos jogadores no considerados no processo de desenvolvimento ou determinar solues para problemas que so difceis de prever durante a fase de concepo do jogo.

Em um trabalho anterior [1], foi definida uma arquitetura baseada no Algoritmo M5P em um sistema multiagentes onde ocorriam comportamentos emergentes. Atravs de experimentos [2] demonstrou as vantagens de usar o algoritmo M5P, classificador de atributos qualitativos. Este trabalho complemento do anterior, em uma nova arquitetura, alm de novos experimentos como desempenho e estabilidade na aes dos agentes.

Foi mantida uma arquitetura simples, a fim de alcanar os mesmos objetivos e fazer uma avaliao sobre a interao entre os personagens multiagentes sistemas. Este artigo mantm a adaptao rpida e confivel de caractersticas encontradas na IA de jogos.

A abordagem apresentada, procura alcanar os mesmos objetivos de [3], que define uma estratgia de jogo como uma configurao de parmetros que determinam o comportamento estratgico (por exemplo, como unidades de muitos avies devem ser construda, tamanho de grupo mximo de ar ou o nmero mximo de edifcios de armazenamento), mostra que o conhecimento de domnio requerido a fim de adaptar os personagens automaticamente s circunstncias pela IA do jogo, e explora imediatamente o comportamento efetivo de uma maneira controlada em partidas online. E ainda fazem uma avaliao sobre o interao entre os personagens multiagentes sistemas e mantendo a adaptao rpida e confivel de caractersticas de jogo IA como proposto por [1].

Foram mantidos os resultados encontrados em [1] que so mostrados com base nos processos de aprendizagem de maquina referente ao comportamento dos NPCs (personagem do jogador no) atravs da capacidade de emergir estratgias complexas apartes de comportamentos mais simples e utilizando uma nova arquitetura.

2-RELAO ENTRE CLASSIFICADORES

ARQUITETURA

OS

SISTEMAS

Diferentemente do que se possa pensar, a M5P-Reinforcement Learn Architecture no um Sistema Classificador, embora ambos possuam as caractersticas de evoluo, mdulo de aprendizagem por reforo e contenham classificadores.

Os Sistemas classificadores so mecanismos desenvolvidos por Holland para criao e atualizao evolutiva do conhecimento por meio da combinao de tcnicas de aprendizagem por reforo, computao evolutiva entre outros procedimentos heursticos de sistemas adaptativos [4]. Tendo como objetivo principal maximizar o seu conhecimento para a resoluo de problemas [5], alcanando ganhos ou perdas atravs da interao com o ambiente
3

reformulando sua base por criao de populaes cada vez melhores de classificadores que o compem.Atravs de algoritmos genticos,os quais so responsveis pela gerao e evoluo das novas populaes de classificadores [6]. Classificadores so regras de inferncia do tipo se... ento [7].

Ambos os componentes so inicializados aleatoriamente [4]. Em que cada classificador constitudo de duas partes: antecedente e conseqente que respeitam as interferncias do tipo se determinada condio, ento faa determinada ao. Sendo que os termos da condio so determinados por meio de vetores com tamanho fixo, do alfabeto {0, 1, #} e no termo ao {0, 1}, o smbolo # indica tanto faz, isso permite medir a especificidade da condio onde quanto maior o nmero de # menor sua especificidade que pode chegar a ser zero. [7].

Todo classificador possui uma energia especfica, diretamente associada utilidade do classificador dentro da populao. Essa medida determinada de acordo com o desempenho mdio do classificador ao longo do tempo, baseando se, nas realimentaes recebidas atuao, ou seja quanto maior a sua energia melhor sua atuao, isso est dependente dos objetivos atingidos e das modificaes sobre as caractersticas do ambiente que deve ser o menor possvel.

Esta realimentao e controlada por um subsistema de atribuio de credito que funo especificar quais classificadores sero utilizados e qual ser sua recompensa ou perda aps a sua atuao por intermdio dos atuadores.Para que ocorra a ativao do classificador necessrio que uma das massagens enviadas ao SC atravs dos detectores atenda a condio do classificador fazendo com que este seja ativado e passe para o subsistema de atribuio de crditos que define qual classificador executara a ao [8].

A arquitetura apresentada nesse trabalho, no pode ser considerada um sistema classificador, pois no usa a idia e definies do mesmo. No uma arquitetura que trabalha com regras de inferncia do tipo se... ento ou partes
4

antecedente e conseqente. Apenas avalia uma srie de possveis rotas, e as classifica. Como a arquitetura utiliza o M5P, que um algoritmo classificador numrico, o resultado da classificao a satisfao, objetivo buscado pelo agente. O algoritmo retorna a rota com a maior satisfao de acordo com sua classificao.

A arquitetura apresentada neste trabalho gera um caminho que base do funcionamento de cada agente. Atravs do uso do algoritmo M5P feita a avaliao dos caminhos para poder, assim, retornar o melhor. Durante os dias pr-determinados, as informaes de cada caminho, vo sendo acumuladas . A partir do dia estipulado feito uma comparao entre as informaes acumuladas e a base de informaes e utilizada melhor.

3-CONCEITOS BSICOS

Agentes Segundo [9], um agente todo aquele que consegue interagir com o ambiente sua volta por meio de sensores e atuadores. O agente humano tem olhos, ouvidos como sensores e mos, pernas e boca como atuadores, j um agente robtico teria cmera e detectores da faixa infravermelho. Todo agente pode perceber as prprias aes, porm as conseqncias de suas aes no.

O termo percepo, referente aos sensores perceptivos que os agentes possuem. A seqncia de percepes do agente a histria de tudo que aconteceu com ele. A escolha de uma ao por um agente ser com base nas seqncia de percepes obtidas at aquele momento [9].

Ainda de acordo com [9], qualquer sistema pode ser considerado um agente inteligente se possuir as seguintes caractersticas: Autonomia; Habilidade social; Reatividade; Pr-atividade.

Autonomia refere-se ao fato de o agente funcionar sem a interveno de um humano, baseando no conhecimento do ambiente dele guardado em cima de acontecimentos anteriores. J habilidade social, a capacidade de interagir com outros agentes por uma linguagem comum. Reatividade a manifestao de capacidade de adaptao com as mudanas ocorridas em seu ambiente. J a pr-atividade, parte do princpio que o agente no atua com base na sua percepo, porm deve procurar alcanar um objetivo demonstrando iniciativa [11].

Os agentes inteligentes so ainda, basicamente, divididos em dois grandes grupos, os agentes cognitivos e os agentes reativos. A diferena entre os dois est no fato de os agentes reativos considerarem somente os dados disponveis naquele momento, ou seja, eles no possuem memrias. J os agentes cognitivos, aprendem com as suas experincias e, alm disso, so deliberativos, tendo a oportunidade de trocar informaes de histrico e planos de ataque com outros agentes, criando assim, um sistema mais inteligente [12].

Todavia, a vantagem dos agentes reativos est na velocidade das respostas, pois este responde com base nos dados encontrados no momento enquanto o agente cognitivo pode consultar a sua base de experincias, alm de trocar informaes com outros agentes. O tempo normalmente curto em aplicaes de jogos, e por este motivo que o uso de agentes cognitivos ainda uma novidade [12].

H ainda um terceiro tipo de agente, que so os agentes hbridos, que na verdade so uma mescla entre os dois tipos de agentes apresentados. Esse tipo de agente soluciona a incapacidade de ao adequada por parte do agente cognitivo para respostas mais rpidas em momentos oportunos, alm de dar ao agente reativo a capacidade de raciocnio e planejamento no momento em que ele se depara com uma situao onde o ambiente diverge bastante de seus objetivos iniciais [11].

Ambientes Um ambiente pode ser delineado por diversas propriedades, que iro inuenciar diretamente no projeto do agente. Uma dessas propriedades a acessibilidade. Um ambiente acessvel ao agente se ele pode obter o estado completo do ambiente atravs de seus sensores. Um ambiente efetivamente acessvel, se todas as informaes do ambiente, necessrias para se tomar uma deciso tima, esto disponveis aos sensores do agente [13].

rvores de Busca e Deciso So ferramentas utilizadas para dar ao agente a capacidade de aprender e tomar decises.

A idia de aprendizado que os perceptores no sejam usados apenas para agir, mas tambm para aumentar a capacidade do agente de agir no futuro [14]. O aprendizado acontece na medida em que o agente interage com o mundo e faz seu processo interno de tomada de deciso.

A partir de uma seqncia de testes a rvore de busca chega a uma deciso, onde cada n interno da rvore um teste do valor de uma das propriedades, e ainda os ramos deste n so identicados como possveis valores de teste. Em cada n folha da rvore especicado o valor de retorno se a folha for atingida. O primeiro jogo de entretenimento que usou a rvore de deciso foi o Black&White 2, onde neste jogo elas so utilizadas para representar as informaes sobre as experincias que a criatura tem ao longo do jogo. Por exemplo, se a criatura comeu vrios tipos de objetos, ela pode no futuro saber qual deciso tomar sobre que tipo de objeto mais apropriado para comer [15].

FiguraX: Imagem de Black & White 2 Fonte: http://www.softpedia.com/reviews/games/pc/Black-and-White-2-Review-16307.shtml

Agentes Inteligentes Em Jogos De Computador Pode-se compreender um agente inteligente, como sendo um sistema (ou um componente de um sistema) capaz de organizar, selecionar, produzir informaes e tomar decises a partir de alguma fonte de dados. Em jogos, um agente pode ser um personagem que pode raciocinar e tomar suas prprias decises, baseando em regras e no cenrio do jogo em si. Tambm se podem criar emoes e deixar o personagem mais realista atravs dos agentes inteligentes [16].

4-ALGORITMO M5P

Algoritmos Classificadores geralmente tomam como entrada um conjunto de dados, e geram como sada uma expresso matemtica constante, ou uma rvore de deciso que incorpora o conhecimento contido dentro dos dados. O conhecimento extrado pode ser usado tanto diretamente pelo sistema ou pode ser aplicada a novas instncias, no classificada ainda.

M5P [18] um algoritmo de reconstruo de Quinlan M5, que foi projetado para a induo de rvores de modelos de regresso. M5P gera uma rvore de deciso convencional com modelo de regresso linear para as folhas. Suas etapas principais incluem o algoritmo de induo que usado para construir a rvore de deciso, a poda que feita regressivamente a partir das folhas e o procedimento de suavizao que utilizado para evitar descontinuidades bruscas entre subrvores. Este mtodo gera modelos que so compactos e relativamente compreensveis.

5-VANTAGENS DO APRENDIZADO COM M5P

M5P um algoritmo de reconstruo de Quinlan M5 para induzir rvores da modelos de regresso. M5P combina uma rvore de deciso convencional, com a possibilidade de funes de regresso linear nos ns [18] . [2] demonstrou vantagens de usar esse algoritmo (M5P) sobre o algoritmo C4.5 e Nayve Bayes. Este comportamento devido sua classificao numrica, que garante o mnimo de perda de informao para as prximas fases, Enquanto seus concorrentes apenas mapeiam o conjunto de valores de atributo para um valor alvo categricas.

6-ALGORITMOS GENTICOS

Sucintamente, a teoria da evoluo das espcies nos diz que a natureza possuiu, em algum momento da existncia deste planeta, os meios para modificar os seres vivos a cada gerao. Essas modificaes ocorreram por meio de alteraes do cdigo gentico desses seres, seja por mutaes aleatoriamente produzidas por radiaes ionizantes, vrus, ou mesmo ao qumica. Esses seres vivos com cdigo gentico alterado se reproduziram em combinao com os seres vivos tpicos de suas espcies naquele momento, produzindo uma nova gerao de seres vivos, que incorporou, de alguma forma, as mutaes ocorridas [19].

Os novos seres vivos que estavam bem adaptados ao meio ambiente do planeta naquele momento tinham mais chance de sobrevivncia, e dessa forma cresciam e se reproduziam mais do que os seres menos adaptados, passando, assim, suas caractersticas de boa adaptao para as geraes futuras. Esse processo denominado seleo natural do ser vivo [19].

Algoritmos genticos constituem uma famlia de modelos computacionais inspirados na teoria da evoluo das espcies. Esses algoritmos modelam uma soluo para problemas especficos em uma estrutura de dados como a de um cromossomo, e aplicam operadores que recombinam essas estruturas, preservando informaes crticas [20]. Constituem poderosa ferramenta com aplicao em problemas complexos, cujos espaos de busca das solues timas podem ser muito grandes para determin-las, com preciso, por meio de um mtodo direto. Essas solues, em alguns casos, podem nem sequer existir e, muitas vezes, o que procuramos meramente uma aproximao que nos traga resultado satisfatrio para o problema.

A implementao do algoritmo gentico comea com uma populao de indivduos (estados de busca) gerados aleatoriamente, chamados de

10

populao

inicial.

Essas

estruturas

so

ento

avaliadas

para

gerar

oportunidades reprodutivas de forma que os cromossomos que representam uma soluo melhor tenha maiores chances de reproduo do que os que representam uma soluo pior. A definio de uma soluo melhor ou pior tipicamente relacionada populao atual, e quantificada pelos resultados da funo de fitness.

Cromossomos Geralmente os cromossomos so representados como um vetor numrico de possibilidades finitas, na maioria das vezes composto de valores binrios. A menor parte representa um alelo.

Populao O conceito de populao aplica-se a um grupo de indivduos cada um representado por um cromossomo que detenham provveis solues para o mesmo problema, sendo diferentes entre si. Podemos chamar de gerao cada nova populao gerada nas iteraes do algoritmo.

Funo de avaliao A funo de avaliao de um problema de otimizao construda a partir dos parmetros que o envolvam. Ela fornece uma medida da proximidade da soluo no que se refere a um conjunto de parmetros que, por sua vez, podem ser conflitantes, ou seja, quando um aumenta, o outro diminui. O objetivo encontrar o ponto timo. Essa funo permite o clculo da aptido bruta de cada indivduo, o que fornecer o valor a ser usado para calcular sua probabilidade de ser selecionado para reproduo o fitness, que representa o grau de adaptao do indivduo ao problema. Nesse aspecto, quem possuir o maior valor de fitness ser considerado uma das melhores solues.

11

Mutao A mutao gera novos indivduos (cromossomos) com pequenas modificaes arbitrrias de um ou mais bits do cromossomo selecionado , para aumentar a diversidade da populao. Uma mutao pontual altera os 1s por 0s ou viceversa.

O operador de mutao permite ao algoritmo gentico explorar novas possibilidades e pode impedi-lo de ficar preso em uma soluo local. Ao ser aumentada a probabilidade de mutao, estar-se- tambm aumentando a liberdade do algoritmo para buscar novas solues na regio de domnio do parmetro. Entretanto, o algoritmo gentico poder levar mais tempo para convergir, ou at no chegar a nenhum resultado, uma vez que a mutao tambm pode destruir uma boa soluo.

Tipicamente, a probabilidade de mutao est em torno de 1% a 5% dos bits de uma populao. Em alguns AGs elitistas existem m ecanismos de preservao dos melhores cromossomos, de forma que os impeam de sofrer mutaes, com o objetivo de no perder uma boa soluo.

Crossover O crossover representa uma transformao da mais alta ordem. Aps algumas iteraes do algoritmo gentico, espera-se que o melhor indivduo (o cromossomo com maior fitness) represente uma soluo quase tima, ou seja, o programa converge para isso.

O operador de recombinao ou reproduo (crossover) permite combinar dois cromossomos de uma mesma populao para formar dois descendentes similares. Esse operador pode ser aplicado em posies aleatrias, e com certa probabilidade de ocorrncia, denominada probabilidade de recombinao. O ponto de crossover escolhido aleatoriamente entre o primeiro e o ltimo bit que formam os cromossomos-pais.

A cada iterao do algoritmo, uma nova populao formada por meio da seleo dos indivduos mais adaptados (cromossomos com maior fitness).
12

Alguns membros dessa nova populao sofrem alteraes, que so implementadas pela utilizao dos operadores genticos (mutao e (crossover).

Figura X: Estrutura de funcionamento de um AG tradicional.

7-CARACTERSTICAS PRESENTES NOS ALGORITMOS GENTICOS

Por causa da maneira particular como os AGs operam, neles se destacam as seguintes caractersticas: Busca codicada: Segundo [21], os AGs no trabalham sobre o domnio do problema, mas sim sobre representaes de seus elementos. Tal fator impe ao seu uso uma restrio: para resolver um problema necessrio que o conjunto de solues viveis para este possa ser de alguma
13

forma codicado em uma populao de indivduos;

Generalidade: Os algoritmos genticos simulam a natureza em um de seus mais fortes atributos: a adaptabilidade . Visto que a representao e a avaliao das possveis solues so as nicas partes (de um considervel conjunto de operaes utilizadas em seu funcionamento) que obrigatoriamente requisitam conhecimento dependente do domnio do problema abordado [22], basta alterao destas para port-los para outros casos. A preocupao de um programador de AGs no ento de que forma chegar a uma soluo, mas sim com o que ela deveria se parecer;

Paralelismo Explcito: o alto grau de paralelismo intrnseco aos AGs pode ser facilmente vericado se considerarmos o fato de que cada indivduo da populao existe como um ente isolado e avaliado de forma independente. Se na natureza todo processo de seleo ocorre de forma concorrente, nos AGs essa caractersticas e repete.

Busca Estocstica: ao contrrio de outros mtodos de busca de valores timos, os algoritmos genticos no apresentam um comportamento determinstico [23]. No seria correto, no entanto, armar que tal busca d-se de forma completamente aleatria as probabilidades de aplicao dos operadores genticos fazem com que estes operem de forma previsvel estatisticamente , apesar de no permitirem que se determine com exatido absoluta o comportamento do sistema;

Busca Cega: de acordo com [23], um algoritmo gentico tradicional opera ignorando o signicado das estruturas que manipula e qual a melhor maneira de trabalhar sobre estas. Tal caracterstica lhe confere o atributo de no se valer de conhecimento especco ao domnio do problema, o que lhe traz generalidade por um lado, mas uma tendncia a uma menor ecincia por outro; Ecincia Mediana: por constituir um mtodo de busca cega, um algoritmo gentico tradicional tende a apresentar um desempenho menos adequado
14

que alguns tipos de busca heurstica orientadas ao problema. Para resolver tal desvantagem, a ttica mais utilizada a hibridizao [23], onde heursticas provenientes de outras tcnicas So incorporadas;

Facilidade no Uso de Restries: ao contrrio de muitos outros mtodos de busca, os AGs facilitam a codicao de problemas com diversos tipos de restrio, mesmo que elas apresentem graus diferentes de importncia [24]. Neste caso, se dois indivduos violam restries, considerado mais apto aquele que viola as mais exveis em detrimento do que viola as mais graves;

8-ESTUDO DE CASO

A arquitetura criada em [2] utiliza uma integrao Unity 3D (motor de jogo), Microsoft Visual Studio C # (IDE servidor de desenvolvimento), Weka e IKVM. Afirmando que apesar de todas as vantagens de usar o Unity 3D, a verso do compilador C# includo no seu pacote, tinha incompatibilidades com a DLL Weka interpretado por IKVM nos experimentos realizados. Para contornar esse problema, optou-se por integrar ao Unity3D o mdulo servidor desenvolvido usando o Visual Studio e fazer as conexes atravs de sockets.

J este trabalho utiliza uma nova arquitetura. Tal arquitetura foi desenvolvida no Unity 3D verso 3.3 que possui compatibilidades com a DLL Weka, o que segundo [2] no existia nas verses anteriores.

Essa arquitetura utiliza o Algoritmo M5P, em sua estrutura. Nesse trabalho a arquitetura foi reformulada utilizando o conceito de Algoritmo Gentico, em sua implementao, para fins de comparao em seu desempenho.

15

9-ALGORITMO GENTICO X M5P

estudo

ainda

est

em

andamento,

juntamente

com

as

devidas

implementaes de cada algoritmo utilizado.

Para poder descobrir qual a melhor maneira de se conseguir melhorar a satisfao diria de cada agente, uma bateria de testes ser realizada com as duas implementaes, e os resultados gerados iro resolver essa questo.

10-CONCLUSO

Neste trabalho, a Arquitetura M5P foi desenvolvida, aplicada a agentes inteligentes imersos em ambientes complexos na rea de jogos eletrnicos e simulao. Sua implementao e experimentos foram realizados em um sistema multiagente, cuja tecnologia foi definida em [2].

Esta arquitetura foi sugerida para qualquer gnero de jogo eletrnico com mltiplos agentes, especialmente, simulao de vida e do jogo balanceamento dinmico da dificuldade.

Neste trabalho a arquitetura proposta por [2] foi implementada utilizando Algoritmo Gentico afim de testar seu desempenho.

16

REFERNCIAS [1] MACHADO, A., Carvalho, D., CLUA, E., DUARTE, C. G., MONTANARI, M. V. , REIS W. P. An Architecture Based on M5P Algorithm for Multiagent Systems. ENIA. 2011. [2] MACHADO, A. F. V., CLUA, E. W. and ZADROZNY B. (2010) A Method for Generating Emergent Behaviors using Learning Machine to Strategy Games. In: SBGames. [3] BAKKES, S., SPRONCK P., and VAN DEN HERIK, J. (2009) Rapid and Reliable Adaptation of Video Game AI. in IEEE Transactions on Computational Intelligence and AI in Games. Vol.1, No, 2.

[4] BULL, L (2004). Learning Classifier Systems: A Brief Introduction. In Bull, L (Ed.): Applications of Learning Classifier Systems. Berlin u.a.: Springer, pp. S. 3 -14.

[5] SANTOS M. F. V. T. dos, 2000-disertao- 40f. Sistemas de classificao, In Universidade do Minho-escola de engenharia.

[6] VALLIM,R. M. M. 2009. Sistemas Classificadores Evolutivos Problemas Multirrtulo. 49 f. Dissertao -USP - So Paulo. SP-2009

[7] MOUSSI L. N.2002 Aplicaes de Sistemas Classificadores para Robtica Autnoma Mvel com Aprendizado. 95 f. Disertao- Faculdade de Engenharia Eltrica e de Computao-- UNICAMP

[8] CAZANGI, R. R.2004 Uma Proposta Evolutiva para Controle Inteligente em Navegao Autnoma de Robs 72 f.- Tese UNIVERSIDADE ESTADUAL DE CAMPINAS FACULDADE DE ENGENHARIA ELTRICA E DE COMPUTAO.

[9] RUSSEL, R. and Norvig, P. (1995). ARTIFICIAL INTELLIGENCE: A MODERN AP-PROACH. PRENTICE HALL.

[10] HOULETTE, R., 2003. Player Modeling for Adaptive Games: Programming Wisdom 2, p. 557. ISBN 1584502894. [11] FERNANDES, A. M. d. R. (2005). Inteligncia articial. Visual Books.

AI

17

[12] PERUCIA, A. S., BERTHM, A. C., BERTSCHINGER, G. L., and MENEZES, R. R. C.(2005). Desenvolvimento de jogos eletrnicos. Novatec.

[13] SILVA, F. C. L. d. (2005). Mac5701 - tpicos em cincia da computao agentes inteligentes em jogos de computador. Technical report, IME-USP. [14] FILHO, V. V. (2005). Revolution ai engine: Desenvolvimento de um motor de Inteligncia articial para criao de jogos eletrnicos.

[15] POZZER, C. T. (2006). Aprendizado por rvores de deciso. Disciplina de Programao de Jogos 3D. [16] FLAUSINO, R. (2007). A estado da arte da Inteligncia articial para jogos eletrnicos.

[17] HOLMES, G., DONKIN, A., WITTEN, I.H., 1994. Weka: a machine learning workbench. In: Proceedings of the 1994. Second Australian and New Zealand Conference on Intelligent Information Systems, Brisbane, Australia, pp. 357-361. [18] QUINLAN, J. R., (1992) Learning with Continuous Classes in AI' 92, pp. 343-348.

[19] CARVALHO, L. A. V. Datamining: a minerao de dados no marketing, medicina, economia, engenharia e administrao. 1. Ed. So Paulo: rica, 2001.

[20] SHIRAI, Y. Inteligncia artificial: conceitos, tcnicas e aplicaes. 1. Ed. Portugal: Europa-Amrica, 1988.

[21] PREZ SERRADA, A. Una introduccin a La computacin evolutiva. Disponvel via WWW e m http://www.geocities.com /igoryepes /spanish.zip. (Setembro de 2000).

[22] WHITLEY, D. A genetic algorithm tutorial. Disponvel via WWW em http://www.geocities.com/igoryepes/gatutorial.zip. (Setembro de 2000).

[23] GEYER-SCHULTZ, A. Fuzzy rule-based expert systems and genetic machine learning . Heidelberg: Physical- Verlag, 1997.
18

[24] BARBOSA, H. J. C. Algoritmos genticos para otimizao em engenharia: uma introduo. In: IV SEMINRIOS SOB REELEMENTOS FINITOS E MTODOS NUMRICOS EM ENGENHARIA, 1996, Juiz de Fora, MG. Anais. [S.l.: s.n.], 1996.

[25] CARVALHO, F. G., 2004. Comportamento em Grupo de Personagens do Tipo Black&white. Dissertation. PUC-Rio Digital Certification N 0210488/CA.

[26] MITCHELL, T. M., 1997. Machine Learning, McGraw-Hill.

19