Você está na página 1de 32

Sistemas Hbridos Inteligentes F. Osrio R.

Vieira ENIA99
XIX CONGRESSO DA S.B.C.
ENIA99 ENCONTRO NACIONAL DE INTELIGNCIA ARTIFICIAL SUMRIO:
0. Apresentao
1. Inteligncia Artificial: Mtodos Simblicos (R. Vieira)
TUTORIAL
2. Inteligncia Artificial: Mtodos Conexionistas Rede Neurais (F. Osrio)
3. Sistemas Hbridos Inteligentes (F. Osrio)
SISTEMAS APRESENTAO
Este tutorial tem por objetivo apresentar os conceitos e as novas tendncias da
HBRIDOS rea de Sistemas Hbridos Inteligentes. Sero abordados os mtodos tradicionais
simblicos e conexionistas, apontando para os principais problemas e limitaes de cada
tipo de tcnica em aplicaes do mundo real. A necessidade do tratamento de grande
quantidade de informaes e as incertezas inerentes aos sistemas complexos nos leva a
INTELIGENTES fuso destas metodologias, representada pelos Sistemas Hbridos.
Inicialmente ns apresentaremos as caractersticas dos diferentes mtodos de
representao do conhecimento e suas particularidades. Discutiremos a utilizao destas
tcnicas no desenvolvimento de sistemas inteligentes (sistemas baseados em
conhecimento: lgica, regras, casos, frames, redes semnticas) e suas limitaes na
aquisio do conhecimento e na representao de conhecimento incerto e incompleto.
Autores:
Nesta seo vamos analisar os mtodos conexionistas (redes neurais).
Inicialmente ser apresentada uma viso geral sobre as redes neurais, os diferentes tipos
Prof. Dr. Fernando Santos Osrio de redes e algoritmos de aprendizado existentes. Sero discutidas as caractersticas e
Prof. Dra. Renata Vieira limitaes de uso dos diferentes modelos conexionistas, relacionando-as com as
caractersticas dos sistemas de inteligncia artificial simblica vistos na seo anterior.
O problema da aquisio e na representao do conhecimento incompleto e
incerto impulsiona a fuso de tcnicas e metodologias, originando os sistemas hbridos.
UNISINOS Universidade do Vale do Rio dos Sinos Sero apresentados os conceitos bsicos relativos aos sistemas hbridos inteligentes.
Centro de Cincias Exatas e Tecnolgicas Centro 6/6 Vamos apresentar uma viso global das possveis combinaes entre sistemas de
Curso de Informtica Inteligncia Artificial: Redes Neurais, Algoritmos Genticos, Lgica Nebulosa,
Web: http://www.inf.unisinos.br Sistemas baseados em Conhecimento, Sistemas Baseados em Casos, etc. Discutiremos
E-Mail: osorio@exatas.unisinos.br sobre os modos de integrao destes sistemas: processamento em srie, sub-
renata@exatas.unisinos.br processamento, meta-processamento e co-processamento. A partir de uma anlise das
vantagens da integrao destes diferentes mtodos, vamos direcionar nossa apresentao
ao que se refere aos sistemas hbridos neuro-simblicos. Em seguida, mostraremos
exemplos de sistemas hbridos neuro-simblicos, tais como: KBANN, SYNHESYS e
INSS (ligado ao projeto Europeu Esprit/BRA MIX). Concluiremos esta seo com uma
anlise sobre os sistemas inteligentes e o uso de ferramentas hbridas.
Rio de Janeiro, Julho 1999
1. Mtodos Simblicos R. Vieira ENIA99 Pg.3 1. Mtodos Simblicos R. Vieira ENIA99 Pg.4
1.INTELIGNCIA ARTIFICIAL: dos nmeros representam suas respectivas alturas. A relao mais alto que neste caso
representada pela relao aritmtica < (maior que). Estas diferentes representaes esto
Mtodos Simblicos associadas a diferentes processos de interpretao e uso: se a altura representada pelo
comprimento da linha, existe um processo para comparao de comprimentos de linha, se a
1.1 Introduo altura representada por nmeros, dever corresponder um processo capaz de operar sobre estes
nmeros.
Os mtodos simblicos em Inteligncia Artificial so baseados na idia de que a Existem diferentes sistemas de representao. Existem tambm sistemas hbridos, que
inteligncia (ou parte dela) constitui-se de operaes sobre um conjunto de smbolos. A combinam dois ou mais diferentes sistemas. Alguns sistemas tpicos so descritos brevemente a
linguagem, exemplo de sistema simblico, uma faculdade humana associada inteligncia. As seguir.
palavras representam objetos, relaes e eventos no mundo (so smbolos). Quando combinadas
umas com as outras podem descrever, explicar (ou influenciar) diversas situaes. Podemos Sistema proposicional - em um sistema proposicional os conceitos so
entender uma situao atravs de sua representao simblica, sem necessariamente vivenci-la representados por afirmaes. geralmente utilizado para representar
e utilizar este conhecimento posteriormente em situaes reais. conhecimento declarativo. Neste tipo de representao o conhecimento
Os primeiros sistemas de inteligncia artificial foram os sistemas resolvedores de pode ser examinado e combinado, produzindo inferncias.
problemas. A programao deste tipo de sistemas requer uma especificao precisa do Sistema analgico - a representao feita por correspondncia direta, um mapa
problema em termos de estados e operaes sobre estes estados. A soluo de um problema um exemplo de sistema analgico de representao de caractersticas
dada ao atingir-se o estado final especificado a partir da aplicao de um conjunto de operaes geogrficas.
sobre o estado inicial. O conjunto de passos a serem realizados do estado inicial ao final Sistema procedural - este tipo de representao no acessvel, por isto difcil de
constitui a soluo do problema. A especificao do problema uma representao simblica, ser examinado. Um sistema procedural de representao um know-how,
fornecida de tal maneira que um algoritmo seja capaz de operar sobre esta representao e utilizados por exemplo na execuo de determinadas aes (como chutar
reproduzir uma representao simblica da soluo. uma bola ou andar de bicicleta).
Os mtodos ditos simblicos em Inteligncia Artificial seguem este mesmo princpio,
so baseados em tcnicas de representao simblica de conhecimento associadas a mecanismos Em Inteligncia Artificial Simblica, a representao do conhecimento proposicional,
com capacidade de inferir solues ou novos conhecimentos a partir do conhecimento feita principalmente atravs de uma coleo estruturada de smbolos e com procedimentos de
representado. interpretao.
Neste captulo iremos apresentar idias bsicas sobre representao do conhecimento, a
representao simblica e sistemas que manipulam representaes simblicas, no desempenho
de funes normalmente associadas inteligncia humana. 1.3 Representao simblica do conhecimento
Diferentes tcnicas de representao simblica do conhecimento foram propostas,
1.2 Representao do conhecimento atendendo a necessidades e aplicaes especficas. Estas tcnicas so usadas para expressar o
conhecimento de forma que possa ser tratado computacionalmente.
Uma representao alguma coisa que est no lugar de outra. um modelo da coisa
representada, de maneira que olhando-se apenas para o modelo, concluses podem ser tiradas 1.3.1 Lgica
sobre as coisas representadas. Para o mesmo objeto sendo representado podem corresponder
vrios modelos representantes. Veja a Tabela 1 [Rumelhart 84], tem-se um mundo O desenvolvimento da lgica tem origem na Grcia antiga. Buscava-se uma coerncia entre
representado (indivduos, propriedades e relaes) e trs modelos representantes. a estrutura de sentenas ou conjuntos de sentenas e a verdade. No final do sculo XVII Leibniz
prope a criao de uma linguagem lgica formal procurando reduzir a inferncia lgica a um
Mundo Modelos representantes processo mecnico. Neste processo de formalizao da lgica participaram nomes conhecidos
representado Modelo 1 Modelo 2 Modelo 3 como: Boole, Frege e Gedel. O desenvolvimento da lgica foi fundamental para o
Objetos desenvolvimento da Inteligncia Artificial Simblica. Uma linguagem precisa com um processo
Indivduo 1 1,80 de inferncia bem definido pode ser utilizada para representar conhecimento sobre fatos e
A
1,50
derivar mecanicamente suas conseqncias. Por outro lado, ao fazer uso da lgica para
Indivduo 2 B expressar conhecimento e simular o raciocnio humano, a Inteligncia Artificial lanou novos
Propriedades desafios e estimulou o desenvolvimento de lgicas que pudessem tratar excees,
Altura comprimento de linha valor numrico inconsistncias, conhecimento incerto e incompleto, as lgicas no-clssicas. As lgicas para a
Relaes representao do conhecimento incluem: lgica modal, lgicas no monotnica (lgica default,
Maior que mais_alto_que(A,B) mais comprida > autoepistmica e circunscrio), lgica difusa, raciocnio sobre ao e mudana (clculo de
Tabela 1. Diferentes modelos de representao. situao, lgica temporal), raciocnio sobre estados mentais (crenas, obrigaes, objetivos).
Uma linguagem lgica definida por sua sintaxe e semntica. A sintaxe descreve as
No primeiro os indivduos so representados pelos smbolos A e B, a relao de configuraes possveis das sentenas da linguagem e a semntica descreve a relao das
tamanho entre os dois indivduos representada pela frmula mais_alto_que(A,B). No h sentenas com fatos no mundo. Alm da linguagem necessrio definir um conjunto de regras
representao direta de altura neste sistema. No segundo modelo, os indivduos so usadas para derivar novas sentenas a partir de sentenas dadas, estas regras definem o
representados por linhas verticais, a relao de tamanho representada pela relao fsica entre mecanismo de inferncia.
as duas linhas. No terceiro modelo, os indivduos so representados por nmeros e a magnitude
1. Mtodos Simblicos R. Vieira ENIA99 Pg.5 1. Mtodos Simblicos R. Vieira ENIA99 Pg.6
Atravs de uma linguagem lgica clssica de primeira ordem pode-se representar um A notao apresenta uma representao visual intuitiva, e proporciona flexibilidade de
domnio constitudo de objetos ou entidades, expressar propriedades destes objetos (especficos manuteno (modificao). Apesar de ter sido muito influente no desenvolvimento da
= constantes da linguagem; genricos = variveis da lgica) e relaes entre eles. Estas representao do conhecimento e largamente usada para especificar conhecimento de domnios
propriedades e relaes podem ser quantificadas (valer para todos ou para alguns ). As mais restrito, torna-se confusa para redes mais abrangentes e complexas.
relaes entre diferentes fatos ou proposies so expressas por conetivos lgicos (conjuno , Enquanto as redes semnticas relacionam palavras e conceitos, outras tcnicas surgiram
disjuno , conseqncia e negao ). A seguinte sentena lgica pode ser usada para para tratar unidades maiores do conhecimento, exemplos so os Frames (ou Quadros) [Minsky,
expressar o fato de que pssaros so animais: 1975]; Scripts [Schank, 1977].
x passaro(x) animal(x) 1.3.3 Frames
Geralmente a representao de um domnio um pouco mais complexo em lgica de Frames (ou quadros) so um mtodo de representao no qual uma classe definida por
primeira ordem no pode ser lido e interpretado de uma maneira natural e intuitiva. Isto um conjunto de atributos (slots) com determinados valores. Os valores dos atributos podem ser
motivou o desenvolvimento de outros mtodos de representao de conhecimento, que sero eles mesmos outros frames. So tambm referenciados como estruturas de escaninho e
descritos a seguir. Estes outros mtodos oferecem um formato que mais claro ao leitor humano preenchimento (slot-and-filler). So equivalentes a redes semnticas, porm so mais
e facilitam o processo de traduzir o conhecimento, usualmente expresso em linguagem natural, estruturados. Assim como as redes, frames so organizados em uma hierarquia de
para uma linguagem mais formal e estruturada. Estes mtodos, porm, podem ser traduzidos especializao que fornece uma estrutura natural para herana de atributos. Relaes to tipo
em uma notao lgica. Basicamente eles apresentam uma sintaxe diferente, preservando um e subclasse ligam objetos e classes a outras classes e propriedades dos objetos ou subclasses
semntica e teoria da prova. podem ser determinadas no nvel do objeto, da subclasse ou da superclasse. Esta estrutura
adequada para representar a idia de valores default. Os frames podem indicar valores
1.3.2 Redes semnticas especficos para os atributos, ou ento indicar valores default. Isto til para representar valores
vlidos na maioria dos casos em uma classe, mas que podem assumir um valor diferente em
Em 1968, Quillian introduz as redes semnticas, uma estrutura de representao de uma especializao da classe. Por exemplo a classe pssaro pode ter com valor default a
conhecimento na forma de grafo estruturado formado por um conjunto de ns interligados por habilidade de voar, uma subclasse especfica (avestruz) podem ter esta habilidade cancelada.
relaes (Figura 1).
faz Animal Pssaro Avestruz
animal comer
animado: Verdadeiro superclasse: animal superclasse: pssaro
voa: Verdadeiro voa: Falso
subclasse subclasse
tem
asas pssaro pessoa
Figura 2. Frames
um um
Frames so eficientes em domnios que apresentam uma taxonomia natural de
piupiu joao conceitos, como por exemplo, a biologia. Os atributos principais de um frame so nome e a
especificao de classe (relao um ou subclasse). Os atributos podem ser procedimentos a
serem executados para a obteno de algum valor, quando necessrio.
Figura 1. Redes semnticas 1.3.4 Scripts
As redes semnticas procuram representar os significados das palavras, tidos como
Um script um esquema para uma seqncia de eventos que compem uma situao
conceitos inter-relacionados na memria. Os ns da rede representam os conceitos, a relao
prototpica como ir ao restaurante, ir ao mdico, viajar de trem. O script representa o
uma associao entre estes. A relao um entre dois ns indica pertinncia de uma instncia a
conhecimento sobre determinadas situaes usuais, uma vez representado, um script pode ser
uma classe, a relao subclasse representa relao de pertinncia entre classes.
utilizado para auxiliar no entendimento da ordem de eventos. Em um segmento de discurso do
As redes semnticas introduziram a idia de herana de atributos, cada instncia ou
tipo:
subclasse herda os atributos vlidos para a classe. Outras relaes podem ser representadas, tais
como, tem, faz, parte, etc.
Maria foi ao restaurante. Pediu uma torta, pagou e saiu.
A ativao de uma rede uma busca por uma relao entre ns, atravs das relaes.
Esta busca pode ser utilizada para extrair informaes. Por exemplo, a proposio piupiu tem
Podemos inferir atravs do conhecimento tipo script que ela estava com fome, tinha
asas pode ser encontrada na rede, atravs do caminho: piupiu um pssaro, pssaros tm asas.
algum dinheiro, comeu a torta antes de pagar e que um garom l estava e a atendeu. O script
Todas as informaes sobre piupiu podem ser fornecidas a partir de uma busca exaustiva na
Restaurante um exemplo clssico da literatura de Inteligncia Artificial, e est exemplificado
rede.
na Figura 3. Scripts so compostos de objetos, agentes, condies de entrada, resultados e uma
seqncia de cenas.
1. Mtodos Simblicos R. Vieira ENIA99 Pg.7 1. Mtodos Simblicos R. Vieira ENIA99 Pg.8
A construo de sistemas de resoluo de problemas baseia-se na descrio formal e
manipulvel do problema, onde estados possveis e operaes de mudanas de estados so
Nome: Restaurante especificados. Apresentaremos como exemplo o problema das jarras de gua. O enunciado do
Objetos: mesas, menu, comida, conta, dinheiro problema seguinte: Voc tem 2 jarras, uma de 4 litros, outra de 3 litros. Voc no pode ver o
Agentes: cliente, garom, cozinheiro, caixa, dono
Condies de entrada: o cliente tem fome, o cliente tem dinheiro contedo das jarras e tem que encontrar uma maneira de colocar 2 litros na jarra de 4 litros. A
Resultados: o cliente tem menos dinheiro, o dono tem mais dinheiro, cliente no tem fome Figura 4 apresenta um exemplo de especificao para este problema.
Cena 1: Entrada
O cliente entra no restaurante Estados: { ( 0,0) , (0,...) , (0,3) , ... (4,3) }
O cliente procura por uma mesa Estado inicial: (0,0)
O cliente decide onde sentar Objetivo: (2,n)
O cliente vai para a mesa
O cliente senta Operaes: ( aes ): pr-condio efeito
Cena 2: Pedido 1. Encher J4 (x,y) (x<4) (4,y)
O cliente pega o menu 2. Encher J3 (x,y) (y<3) (x,3)
O cliente olha o menu 3. Esvaziar J4 no cho (x,y) (x>0) (0,y)
O cliente decide o que vai comer 4. Esvaziar J3 no cho (x,y) (y>0) (x,0)
O cliente chama o garom 5.Despejar J3 em J4 e encher J4 (x,y) (x+y>4, y>0) (4,y-(4-x))
O garom vem at a mesa 6.Despejar J4 em J3 e encher J3 (x,y) (x+y>3, x>0) (x-(3-y),3)
O cliente pede a comida 7.Despejar toda J3 em J4 (x,y) (x+y<3,x>0) (0,x+y)
O garom vai at a cozinheiro
O garom entrega o pedido para o cozinheiro
O cozinheiro prepara a comida
Figura 4. Especificao do problema das jarras de gua
Cena 3: Refeio
O cozinheiro d a comida ao garom
.... A partir desta especificao, encontrar a soluo de um problema buscar uma
seqncia finita de operaes que levem ao estado final. Para a busca de solues em espaos de
Cena 4: Sada estados foram desenvolvidas estratgias de navegao em estruturas do tipo rvore, onde os
.... estados so representados por ns, a raiz o estado inicial e o desdobramento da rvore
representa o caminho j trilhado na busca da soluo.
Figura 3. Script Restaurante
1.4.2 Planejamento
Algoritmos de planejamento so descritos por formalismos lgicos. Estados e objetivos so
1.3.5 Sistemas simblicos hbridos representados por um conjunto de sentenas e aes so representadas por uma descrio lgica
de suas pr-condies e efeitos. Uma soluo um plano de aes que garantem a realizao de
As vezes, diferentes mtodos de representao so mais ou menos adequados dependendo um objetivo.
da aplicao. Regras e frames, por exemplo, so dois esquemas bem distintos. Regras so Um exemplo clssico de planejamento dado atravs do mundo dos blocos. O domnio do
apropriadas para a representao de implicao lgica e associao de aes com condies problema um conjunto de blocos sobre uma mesa. Os blocos so representados por constantes
sobre as quais aes deveriam ser aplicadas. Frames e redes semnticas so apropriadas para e a posio relativa dos blocos dado pela relao Sobre(x,y). Os blocos podem ser
definir termos e descrever objetos e relaes taxonmicas entre eles (membro/classe). Por serem empilhados, e um brao de rob pode mover estes blocos sobre a mesa distribuindo-os em
muitas vezes complementares, alguns sistemas empregam uma combinao de mtodos de pilhas. Um objetivo uma disposio de blocos sobre a mesa e uns sobre outros, por exemplo,
representao. formar duas pilhas, uma com o bloco A sobre o B e outra com bloco C sobre D. Um plano
uma seqncia de aes a serem realizadas para atingir o objetivo.
A realizao de aes deve respeitar pr-condies e produzir efeitos. Por exemplo, a ao
1.4 Sistemas simblicos inteligentes mover um bloco s pode ocorrer quando no h nenhum bloco sobre o bloco a ser movimentado
e o efeito uma nova relao Sobre(x,z).
A evoluo da Inteligncia Artificial simblica passou por propostas de diferentes sistemas.
Uma breve apresentao desta evoluo dada nesta seo. Os problemas e as tcnicas
1.4.3 Jogos
desenvolvidas para trat-los crescem em complexidade, mas todas adotam a perspectiva de
representao simblica do conhecimento: operao sobre smbolos e produo de um
Jogos de tabuleiro so constitudos por um conjunto especfico de aes, relativamente
resultado simblico significativo e interpretvel pelos usurios destes sistemas.
fceis de serem representadas, e so, portanto, uma aplicao natural para as tcnicas
Alguns destes sistemas foram comercialmente viveis e possibilitaram uma popularizao
desenvolvidas pela Inteligncia Artificial. Podem ser representados como um problema com
da rea de Inteligncia Artificial. O desenvolvimento destes sistemas paralelo ao
estado inicial, um conjunto de operadores e estado final. Aes do adversrio devem ser
desenvolvimento das tcnicas de representao de conhecimento apresentadas na seo anterior.
consideradas e o melhor movimento deve ser calculado a fim de garantir a vitria.
1.4.1 Resoluo de problemas
1. Mtodos Simblicos R. Vieira ENIA99 Pg.9 1. Mtodos Simblicos R. Vieira ENIA99 Pg.10
1.4.4 Sistemas de produo O mtodo de raciocnio baseado em casos baseado na idia de que humanos usam o
raciocnio analgico, baseado em experincias para aprender e resolver problemas. Este mtodo
Sistemas de produo caracterizam uma arquitetura genrica que pode ser adotada por particularmente til quando h informao incompleta. Casos consistem de
diferentes sistemas (jogador de xadrez, solucionador do problema das jarras de gua, etc.). Esta a) informao sobre situaes,
arquitetura formada por b) as solues adotadas para cada uma das situaes,
um conjunto de regras (se LE ento LR) com lado esquerdo (LE) e direito (LR), c) os resultados da utilizao de determinada soluo, e
indicando respectivamente aplicabilidade e operacionalidade da regra; d) atributos utilizados para auxiliar na busca por casos semelhantes.
uma base de conhecimento (conhecimentos permanentes ou temporrios) Os elementos de um sistema baseado em raciocnio so:
uma estratgia de controle que especifica a ordem de aplicao das regras (ou motor de a base de casos
inferncia) ndice (usado para otimizar a procura e recuperao de casos apropriados ao problema
sendo tratado)
1.4.5 Sistemas especialistas mtricas de similaridade - utilizadas para medir a semelhana entre casos
mdulo de adaptao - responsvel pela criao da soluo do problema em questo
Os sistemas especialistas so responsveis pela re-descoberta e popularizao da atravs da modificao de soluo adotada em problema semelhante (adaptao
Inteligncia Artificial, obtiveram grande xito em domnios especficos onde o conhecimento estrutural) ou criando uma soluo nova utilizando o mesmo processo utilizado em
pudesse ser traduzido em regras do tipo causa e conseqncia, ou sintomas e diagnstico. casos anteriores (adaptao derivada).
Uma vez estruturado e formalizado, o conhecimento de uma rea especfica pode ser
manipulado e reutilizado. Uma determinada situao observada pelo usurio e informada ao 1.4.7 Aprendizado
sistema, pode ser indicadora de uma nova situao e informada ao usurio pelo sistema. Por
exemplo, uma determinada doena pode ser diagnosticada a partir da informao de certos Existem diversas tcnicas de aprendizagem simblica. Alguns tipos sero citados, e o
sintomas observados. As razes para a concluso apresentada podem ser explicadas ao usurio. aprendizado indutivo, mais conhecido, ser brevemente apresentado. A idia geral em
Um sistema especialista possui a mesma arquitetura bsica de um sistema de produo. aprendizagem simblica de gerar um conjunto de regras ou um procedimento classificatrio a
A construo da base de conhecimento bastante elaborada e passa pelas fases de aquisio, partir de uma amostra de casos. Tipos de aprendizado so: a) aprendizado por analogia em
representao, formalizao, codificao, refinamento e validao. A base de conhecimento Sistemas CBR - Case Based Reasoning; b) aprendizado por induo em ILP - Inductive Logic
possui conhecimento ontolgico (tipo de conhecimento descrito pelas redes semnticas), regras Programming; c) aprendizado baseado em explicao EBL - Explanation-Based Learning; d)
e fatos. A memria temporria registra informaes a respeito de um caso particular sendo aprendizado por evoluo/seleo em GA e GP - Genetic Algorithms / Genetic Programming;
operado pelo sistema. O motor de inferncia responsvel pela gerao das concluses. e) o mais difundido, aprendizado indutivo a partir de exemplos ou rvores de Deciso IDT -
Os sistemas especialistas so geralmente aplicados em domnios sem qualquer teoria Induction of Decision Tree.
geral, suscetveis a descries incompletas ou incertas. Alguns mtodos para tratamento da As rvores de deciso (decision trees) propostas por Quinlan [Quinlan 92] so um
incerteza foram propostos, tais como: mtodo dos fatores de certeza, teoria dos conjuntos exemplo clssico de aprendizado indutivo. Neste mtodo, um conjunto de casos, combinando
nebulosos, teoria de probabilidades e de possibilidades. Geralmente estes mtodos atribuem uma srie de caractersticas com determinada classificao fornecido a um algoritmo que
uma medida numrica que representa a confiana do especialista nos fatos. produz uma rvore de deciso a ser utilizada em novos casos. A rvore de deciso resultante
No mtodo de fatores de certeza, por exemplo, cada regra e cada elemento da memria dispe as caractersticas observadas nos exemplos de maneira a otimizar as classificaes
de trabalho so associados a um coeficiente de certeza, este que pode variar entre -1 (totalmente futuras. O nodo inicial da rvore representa a primeira caracterstica a ser analisada. A presena
falso) e 1 (totalmente verdadeiro). Estes coeficientes so utilizados para propagar a incerteza ou ausncia da caracterstica determina o nodo seguinte (esquerdo ou direito de uma rvore) que
inicial de uma informao atravs da cadeia de inferncias pode representar uma nova caracterstica a ser analisada ou uma classificao resultante.
Existem sistemas que deixam o usurio optar pelo mtodo que deseja ser aplicado, pois Uma outra rea em Cincia da Computao relacionada ao aprendizado, que est em
cada mtodo tem uma aplicabilidade melhor ou pior de acordo com os problemas ou domnios. expanso, a pesquisa em extrao de informao. Esta tem por objetivo o desenvolvimento de
Uma caracterstica comum a todos os mtodos a existncia de um limite mnimo para a mtodos e sistemas para a aquisio automtica de bases de conhecimento. A partir da leitura de
incerteza, abaixo deste a regra desconsiderada. textos em linguagem natural, deve ser produzida uma representao mais formal do
Existem sistemas especialistas que, no caso de atingir um estgio de raciocnio incerto, conhecimento de um domnio especfico.
interagem com o usurio solicitando informaes para continuar o raciocnio. Alm de se
utilizarem das informaes fornecidas pelo usurio para elaborar uma resposta ao problema, os 1.4.8 Recentes desenvolvimentos: sistemas multi-agentes
sistemas especialistas devem ser capaz de adquirir novos conhecimentos ou modificar os
antigos, podendo utilizar a mesma interface com o usurio. Uma rea mais recente da Inteligncia Artificial Simblica a de especificao formal e
Apesar de aplicarem bons mtodos de tratamento de incerteza, nem sempre os sistemas projeto de agentes autnomos. Programas ou sistemas so entendidos como agentes que
especialistas conseguem encontrar as mesmas solues que poderiam ser encontradas pelos raciocinam logicamente, constrem e executam planos, so capazes de aprender e podem agir
especialistas humanos, pois muitas vezes as solues humanas tm base intuitivas. Dificilmente com autonomia (sem interferncia ou solicitao direta do usurio).
os motivos da intuio dos humanos so colocados em regras na base de conhecimento. Alm da modelagem de um nico agente, expande-se a pesquisa sobre times de agentes
(dois ou mais cooperando em uma tarefa complexa). Para tarefas como esta preciso no s
1.4.6 Raciocnio baseado em casos lidar com a representao, mas com o reconhecimento e antecipao de estados mentais. Estes
sistemas integram representao de crenas, planos, objetivos, desejos e intenes. A
representao da emoo tambm tem sido considerada por pesquisadores da rea.
1. Mtodos Simblicos R. Vieira ENIA99 Pg.11 1. Mtodos Simblicos R. Vieira ENIA99 Pg.12
[Davis 93] DAVIS, R., SHROBE, H. and SZOLOVITS P. What is a Knowledge
1.5 Problemas da Inteligncia Artificial Simblica Representation? AI Magazine, 14(1):17-33, 1993. http://medg.lcs.mit.edu/ftp/psz/k-
rep.html
Programar um conjunto de critrios para abranger os membros de uma categoria uma
tarefa extremamente complexa. A definio de solteiro, por exemplo, pode ser dada por: um [Green 96] GREEN, David et al. Cognitive Science: an introduction. Cambridge,
homem de idade adulta que no casado. No entanto, se um amiga pede para voc convidar Blackwell Publishers, 1996.
alguns solteiros para ir a sua festa, a definio acima provavelmente no seria adequada o
suficiente para saber quem convidar das pessoas abaixo:
[Minsky 75] MINSKY, Marvin. A framework for representing knowledge. In P.
um amigo no casado oficialmente mas que tem uma companheira e filhos,
Winston (Ed.) The psychology of computer vision. New York: McGraw Hill.
um amigo que casou para no ser convocado pelo exrcito, mas que nunca viveu
com a esposa,
um amigo homossexual. [Minsky 91] MINSKY, Marvin. Logical vs. Analogical or Symbolic vs Connectionis or
Neat vs. Scruffy, in Artificial Intelligence Magazine, 1991.
Um sistema inteligente alimentado com representaes de fatos e regras, mas as regras
do senso comum so muito difceis de estabelecer. Sabe-se que quando o cachorro vai para o [Pinker 97] PINKER, Steven. How the mind works. W.W. Norton & Company. 1997.
carro, ele no est mais no quintal; se algum vai ao supermercado, sua cabea vai junto; se
algum est dentro de casa deve ter entrado por alguma porta; abrir um pote de manteiga no [Quinlan 92] QUINLAN, J. R. C 4.5 : Programs for Machine Learning (Morgan
encher a casa de vapor; se h uma sacola em seu carro e um litro de leite na sacola ento h Kaufmann Series in Machine Learning). Academic Press/Morgan Kaufmann,1992.
um litro de leite em seu carro. Note porm que de saber que h uma pessoa em seu carro e saber
que h um litro de sangue em uma pessoa seria estranho concluir que h um litro de sangue em [Quillian 68] QUILLIAN, M. R. Semantic memory. In Minsky, M. L. Editor, Semantic
seu carro.
Information Processing, pages 216-270. MIT Press, Cambridge, Massachusetts.
O problema de saber distinguir as implicaes relevantes entre um conjunto
potencialmente infinito de implicaes denominado frame problem (problema de
enquadramento), e dificulta principalmente a formalizao de raciocnios sobre aes. [Rich & Knight] RICH, Elaine; KNIGHT, Kevin. Inteligncia Artificial. Segunda
Edio. Editora McGraw-Hill Ltda., 1993.
1.6 Concluso [Russel 95] RUSSEL, Stuart; NORVIG, Peter. Artificial Intelligence. A Modern
Approach. Prentice-Hall Inc, 1995.
A Inteligncia Artificial Simblica sempre esteve intimamente ligada aos estudos da
mente humana. Seus avanos foram sucintamente esboados neste captulo. Esbarrou em [Rumelhart 84] RUMELHART, David & NORMAN, Donald. Representation of
problemas relacionados ao conhecimento intuitivo, incerto e incompleto. Encontrou maiores knowledge. In Aitkenhead M., Editor, Issues in Cognitive Modelling, 1984.
dificuldades em representar o senso comum. Est longe a possibilidade de se apresentar um
sistema para competir com a habilidade humana de lidar com a ambigidade e fazer dela fonte [Schank, 1977] SHANK R. C. & ABELSON R. P. Scripts, Plans, Goals and
de graa, ironia ou poesia.
Understanding. Lawrence Erlbaum Associates, Potomac, Maryland. 1977.
Inicialmente a IA Simblica mostrou relaes mais fortes com a psicologia.
Ultimamente, a rea tem avanado suas relaes com outras reas ligadas compreenso do
comportamento humano e seu contexto (tais como a sociologia e a antropologia). Recentes [Wermter 96] WERMTER, Stefan; RILOFF, Ellen and SCHELER, Gabriele.
avanos trazidos pelo paradigma multi-agente tm mostrado grande potencial para auxiliar nos Connectionist, statistical and symbolic approaches to natural language processing.
estudos dos processos scio-cognitivos. Ao mesmo tempo esta inter-relao com as reas Springer, Heidelberg, 1996.
humanas inspira o trabalho da Inteligncia Artificial Simblica rumo a um novo patamar de
competncia dos sistemas computacionais.
Bibliografia
[Bittencourt 98] BITTENCOURT, Guilherme. Inteligncia Artificial, Ferramentas e
Teorias. Editora da UFSC, 1998.
[Bower 79] BOWER, G. H., BLACK, J. B. and TURNER, T. J. Scripts in memory for
text. Cognitive Psychology, 11, 177-220. 1979.
2. Mtodos Conexionistas F.Osrio ENIA99 Pg.13 2. Mtodos Conexionistas F.Osrio ENIA99 Pg.14
A representao de conhecimentos nas redes conexionistas, como diz o prprio nome,
fortemente ligada a noo de conexo entre neurnios (elementos processadores de informao)
2. INTELIGNCIA ARTIFICIAL : que interagem uns com os outros atravs destas ligaes. O modelo conexionista possui sua
Mtodos Conexionistas - Redes Neurais Artificiais origem nos estudos feitos sobre as estruturas de nosso crebro sofrendo uma grande
simplificao do modelo original onde encontramos no modelo artificial, que simulado,
2.1. Introduo elementos como os neurnios e as suas conexes, chamadas de sinapses. A proximidade e
fidelidade dos modelos artificiais em relao ao modelo real um tema polmico que no vamos
nos aventurar a discutir aqui, deixando apenas o registro da origem dos conceitos bsicos que
As Redes Neurais Artificiais (RNA), tambm conhecidas como mtodos conexionistas, so norteiam este campo de pesquisas.
inspiradas nos estudos da maneira como se organiza e como funciona o crebro humano. Este tipo de
mtodo possui caractersticas peculiares de representao e de aquisio de conhecimentos, sendo O conhecimento de uma RNA est codificado na estrutura da rede, onde se destacam as
considerado um mtodo de nvel sub-simblico (em oposio aos mtodos simblicos, descritos no conexes (sinapses) entre as unidades (neurnios) que a compe. Nestas redes artificiais obtidas
captulo anterior: rvores de deciso, CBR, KBS, etc).
por simulao em computadores, associamos a cada conexo um peso sinptico (valor numrico)
Inicialmente vamos discutir sobre a representao de conhecimentos utilizada pelas Redes que caracteriza a fora da conexo entre dois neurnios. O aprendizado em uma RNA realizado
Neurais, para depois analisarmos a parte referente ao aprendizado destas. importante salientar que por um processo de adaptao dos seus pesos sinpticos. As figuras 2.2 e 2.3 mostram a relao
existem diferentes tipos de RNAs e que cada um destes modelos diferentes possui suas caractersticas entre os neurnios naturais e o modelo de neurnio artificial.
prprias quanto a forma de representar e de adquirir conhecimentos. Em funo disto vamos
primeiramente apresentar uma viso geral, classificando os diferentes modelos de RNAs para em seguida
nos concentrarmos em um modelo mais especfico: as redes neurais artificiais do tipo multi-nvel baseada
em Perceptrons (conhecidas como Multi-Layer Perceptron Nets ou Back-Propagation Nets). A figura 2.1
apresenta um exemplo deste modelo de rede conexionista.
Unit j
Sada Sinapse
Pesos Ncleo
Wij Corpo
Celular
Segmento Inicial
Dendrito
Camada Unit i Axnio
Oculta
Sinapse
Entradas
Figura 2.2. Exemplo de Neurnio Natural
Uma vez que os conhecimentos da rede esto codificados na estrutura de interconexes entre os
neurnios e nos pesos associados a estas conexes, fica muito difcil para um ser humano realizar uma
Figura 2.1. Exemplo de Rede Neural Artificial do tipo Multi-Nvel anlise e interpretao dos conhecimentos adquiridos por uma RNA. Os conhecimentos das redes se
resumem a um conjunto de valores numricos descrevendo as conexes, e por conseqncia, estes valores
descrevem tambm o comportamento da rede. Entretanto, para um ser humano estes dados no fazem
2.2. Representao de Conhecimento muito sentido. Na seo 2.3 vamos apresentar mais em detalhes os diferentes tipo de redes, onde a escolha
do tipo de neurnio artificial utilizado fundamental para se definir como ser a representao interna dos
conhecimentos da rede.
2. Mtodos Conexionistas F.Osrio ENIA99 Pg.15 2. Mtodos Conexionistas F.Osrio ENIA99 Pg.16
sinpticos. A regra que determina a ativao de um neurnio em funo da influncia vinda de suas
X1 X2 XN Entradas
(Dendritos)
entradas, ponderadas pelos seus respectivos pesos, se chama regra de ativao ou funo de ativao.
... As mudanas realizadas nos valores dos pesos sinpticos ou na estrutura de interconexo das
unidades de uma rede, so responsveis pelas alteraes no comportamento de ativao desta rede. Estas
alteraes nas conexes e na estrutura da rede o que nos permite realizar o aprendizado de um novo
W1 W2 ... WN
Pesos Sinpticos
(Tem efeito de inibio ou de excitao comportamento. Desta maneira vamos poder modificar o estado de ativao na sada da rede em resposta a
sobre os sinais de entrada, resultando uma certa configurao de entradas. Portanto, a rede capaz de estabelecer associaes de entrada-sada
na ativao ou no do neurnio ) (estmulo e resposta) a fim de se adaptar a uma situao proposta. No caso de uma rede com aprendizado
N
Ativao supervisionado (vide item sobre tipos de aprendizado), a rede deve adaptar os seus pesos de maneira
Net = Wi.Xi + Biais (Considera o conjunto de valores passar a responder de acordo com o exemplo dado, ou seja, gerando na sua sada um estado de ativao
i
de entradas e os seus respectivos compatvel para com o esperado. O mtodo utilizado para modificar o comportamento de uma rede
pesos sinpticos)
denominado de regra de aprendizado.
Fct (Net) A grande quantidade de modelos de redes conexionistas existentes torna difcil para ns a
Funo de Ativao descrio exaustiva de todos eles. Se o leitor assim desejar, poder se aprofundar em maiores detalhes
(Regula o valor final obtido na sada) sobre os diferentes modelos de RNAs em obras como o Handbook of Neural Computation[Fiesler 97].
Ns iremos nos concentrar aqui em diferenciar estes modelos, tomando como base as suas principais
caractersticas.
2.3.2. Classificao e Propriedades
Sada
(Axonio/Sinapses: conectam-se s outras unidades)
A grande quantidade de modelos existentes nos leva uma anlise de suas principais propriedades
e diferenas em detrimento de uma anlise caso caso mais detalhada. Este estudo das principais
Figura 2.3. Exemplo de Neurnio Artificial propriedades das redes neurais nos permite compreender melhor as vantagens e/ou inconvenientes da
escolha de um modelo em detrimento de um outro. Consideramos que no existe apenas uma maneira de
Apesar dos estudos sobre as redes neurais artificiais serem considerados como pertencentes uma classificar todos os modelos, mas de um modo geral devem ser considerados grupos de atributos, tais
rea jovem1 de pesquisa, encontramos atualmente uma srie de referncias e exemplos de importantes como: tipo de aprendizado, arquitetura de interconexes, forma interna de representao das informaes,
aplicaes prticas deste tipo de mtodo de aprendizado, onde podemos citar alguns exemplos de obras tipo de aplicao da rede, etc. Caso o leitor tenha o interesse de buscar uma proposta mais formal de
relevantes na rea, como por exemplo [Fiesler 97, Ripley 96, Bishop 95, Arbib 95, Krose 93, Freeman 92, classificao das redes neurais, esta pode ser encontrada em [Fiesler 97].
Simpson 90, Faq 99a].
2.3.2.1. Aprendizado Conexionista
2.3. Modelos Conexionistas O aprendizado conexionista em geral um processo gradual e iterado, onde os pesos so
modificados vrias vezes, pouco pouco, seguindo-se uma regra de aprendizado que estabelece a forma
2.3.1. Definio de uma Rede Neural Artificial como estes pesos so alterados. O aprendizado realizado utilizando-se um conjunto de dados de
aprendizado disponvel (base de exemplos). Cada iterao deste processo gradativo de adaptao dos
As redes conexionistas so formadas por um conjunto de unidades elementares de processamento pesos de uma rede neural , sendo feita uma apresentao completa do conjunto de dados, chamada de
de informaes fortemente conectadas, que denominamos de neurnios artificiais. Uma RNA constituda poca de aprendizado. Os mtodos de aprendizado neural podem ser divididos em trs grandes classes,
por um grafo orientado e ponderado. Os ns deste grafo so autmatos simples, os chamados neurnios segundo o grau de controle dado ao usurio
artificiais, que formam atravs de suas conexes um autmato mais complexo, a rede neural, tambm
conhecida como rede conexionista. Aprendizado supervisionado: o usurio dispe de um comportamento de referncia preciso
que ele deseja ensinar a rede. Sendo assim, a rede deve ser capaz de medir a diferena entre
Cada unidade da rede dotada de um estado interno, que ns vamos denominar de estado de seu comportamento atual e o comportamento de referncia, e ento corrigir os pesos de
ativao. As unidades podem propagar seu estado de ativao para as outras unidades do grafo, passando maneira a reduzir este erro (desvio de comportamento em relao aos exemplos de referncia).
pelos arcos ponderados, que ns chamamos de conexes, ligaes sinpticas ou simplesmente de pesos O aprendizado supervisionado utiliza conhecimentos empricos, habitualmente representados
por um conjunto de exemplos etiquetados, ou seja, exemplos com pares de dados de entrada
com a respectiva sada associada. A tabela verdade de uma operao booleana do tipo AND
poderia ser considerada como um conjunto de exemplo de aprendizado, pois indica os valores
1
Os primeiros estudos sobre as redes neurais artificiais remontam aos anos 40 (McCulloch-Pitts), mas foi somente de entrada e tambm a sada desejada. Nos casos de problemas de classificao, a sada a
na dcada de 80 que houve um grande desenvolvimento nesta rea (Back-Propagation, Hopfield, Kohonen SOFM,
...)
2. Mtodos Conexionistas F.Osrio ENIA99 Pg.17 2. Mtodos Conexionistas F.Osrio ENIA99 Pg.18
classe qual cada exemplo est associado. Exemplo de aplicao: reconhecimento de E r ro n a S a d a
d a R e de
caracteres em uma aplicao do tipo OCR (Optical Character Recognition) [Osrio 91].
A p re n d iza d o :
Aprendizado semi-supervisionado: o usurio possui apenas indicaes imprecisas (por P a ra d a ta rd ia
D a d o s de T e ste
exemplo: sucesso/insucesso da rede) sobre o comportamento final desejado. As tcnicas de
aprendizado semi-supervisionado so chamadas tambm de aprendizado por reforo
D a d o s d e A p re n d iz a d o
(reinforcement learning) [Sutton 98]. Para ser mais exato, neste tipo de aprendizado ns
dispomos apenas de uma avaliao qualitativa do comportamento do sistema, sem no entanto N m er o
d e p o ca s
poder medir quantitativamente o erro (desvio do comportamento em relao ao
comportamento de referncia desejado). Exemplo: aplicaes em robtica autnoma, onde E r ro n a S a da
d a R e de
supondo uma situao hipottica, sabemos que seguir em frente no possvel pois existe um
obstculo, mas em compensao no temos uma medida numrica que indique para que lado P a ra d a u sa n d o a V a lid a o C ru za d a
seguir e exatamente como devemos proceder para desviar deste obstculo. (p o n to tim o d e g e n er a liza o )
D ad o s d e T es te
Aprendizado no-supervisionado: os pesos da rede so modificados em funo de critrios
internos, tais como, por exemplo, a repetio de padres de ativao em paralelo de vrios D a do s d e A pr e nd iz ad o
neurnios. O comportamento resultante deste tipo de aprendizado usualmente comparado N m e ro
com tcnicas de anlise de dados empregadas na estatstica (e.g. clustering). Exemplo: d e po c a s
diferenciar tomates de laranjas, sem no entanto ter os exemplos com a sua respectiva classe
Figura 2.4. Aprendizado: Erro em relao ao conjunto de aprendizado e de teste
etiquetada (e.g. self-organizing feature maps [Kohonen 87]).
Uma rede pode se especializar demasiadamente em relao aos exemplos contidos na base de
O aprendizado conexionista em geral precisa de uma grande quantidade de dados, que ns aprendizado. Este tipo de comportamento vai nos levar um problema de aprendizado conhecido como
agrupamos em uma base de aprendizado. De acordo com a tcnica de aprendizado utilizada, outros super-aprendizado (over-training / over-fitting). Normalmente o over-fitting pode ser detectado/evitado
conjuntos de dados podem tambm ser necessrios, principalmente para que se possa medir a validade do atravs do uso de um teste de generalizao por validao cruzada (cross-validation).
aprendizado realizado pela rede (e.g. cross-validation [Krogh 95]). Este conjunto de dados complementar
usualmente chamado de conjunto de teste de generalizao. A figura 2.4 apresenta um grfico tpico da O aprendizado de um conjunto de dados pode ser realizado de diferentes formas, se considerarmos
evoluo do erro durante o aprendizado de uma rede neural, comparando a curva do erro (aprendizado a maneira pela qual a rede alimentada por estes dados:
supervisionado) referente base de aprendizado com a curva do erro da base de teste de generalizao.
Aprendizado instantneo: o conjunto de dados de aprendizado analisado uma nica vez e
Ns chamamos de generalizao a capacidade de um modelo de aprendizado responder com isto o conjunto de pesos da rede determinado de maneira imediata em uma nica
corretamente aos exemplos que lhe so apresentados, sendo que estes exemplos NO devem estar passagem da base de exemplos. Este modo de aprendizado tambm conhecido como: one
presentes na base de aprendizado. Um modelo que tem uma boa generalizao aquele modelo que single epoch learning / one shot learning.
responde corretamente aos exemplos contidos na base de aprendizado, mas tambm a outros exemplos
diferentes daqueles da base de aprendizado, e que esto contidos em uma base de teste. A capacidade de Aprendizado por pacotes: o conjunto de dados de aprendizado apresentado rede vrias
generalizar a principal capacidade buscada nas tarefas que envolvem aprendizado. vezes, de modo que possamos otimizar a resposta da rede, reduzindo os erros da rede e
minimizando o erro obtido na sada desta. Este modo de aprendizado caracterizado por
trabalhar com uma alterao dos pesos para cada poca, ou seja, para cada passagem completa
de todos os exemplos base de aprendizado. O algoritmo de aprendizado deve reduzir pouco
pouco o erro de sada, o que feito ao final de cada passagem (anlise) da base de exemplos
de aprendizado. Neste tipo de processo, podemos apresentar os exemplos na ordem em que se
encontram, ou de modo mais usual, apresentar os dados em uma ordem aleatria. Outros tipos
de seleo de exemplos para anlise pelo algoritmo de aprendizado nos levam a mtodos
como a aprendizagem ativa (vide mais abaixo). Este mtodo conhecido pelo nome de batch-
learning e constitui-se de um dos mtodos mais utilizados.
Aprendizado contnuo: o algoritmo de aprendizado leva em considerao continuamente os
exemplos que lhe so repassados. Se o conjunto de dados bem delimitado, chamamos este
mtodo de aprendizado on-line, e caso o conjunto de dados possa ir aumentando (sendo
adicionados novos exemplos no decorrer do tempo), ento chamamos este mtodo de
aprendizado incremental. O aprendizado on-line se ope ao aprendizado por pacotes, pois ao
contrrio deste, para cada novo exemplo analisado j se realiza uma adaptao dos pesos da
rede, com o objetivo de convergir na direo da soluo do problema. O aprendizado contnuo
2. Mtodos Conexionistas F.Osrio ENIA99 Pg.19 2. Mtodos Conexionistas F.Osrio ENIA99 Pg.20
incremental deve ser analisado sob o ponto de vista da aquisio dos dados (adio de novos tipo de funo de ativao utilizada (e.g. linear, sigmode assimtrica (exp), sigmode simtrica (tanh),
exemplos na base de aprendizado), onde devemos prestar ateno para no confundir este tipo gaussiana, etc) [Jodoin 94a, Jodoin 94b]. Outro elemento importante diz respeito a forma como os
de aprendizado com o aprendizado incremental em relao a estrutura da rede (adio de neurnios armazenam as informaes: unidades baseadas em prottipos, unidades do tipo Perceptron.
novos neurnios no decorrer da simulao). O principal problema do aprendizado contnuo a Vamos diferenciar aqui estes dois tipos de maneiras de representar o conhecimento nas unidades de uma
dificuldade de achar um bom compromisso entre a plasticidade e a estabilidade da rede. Uma rede.
rede com uma grande facilidade de adaptao pode esquecer rapidamente os conhecimentos
anteriormente adquiridos e uma rede com uma grande estabilidade pode ser incapaz de Redes base de prottipos: este tipo de rede utiliza neurnios que servem para representar
incorporar novos conhecimentos. prottipos dos exemplos aprendidos as unidades tem uma representao interna que agrupa
as caractersticas comuns e tpicas de um grupo de exemplos [Orsier 95]. As redes baseadas
Aprendizado ativo: este modo de aprendizado assume que o algoritmo de adaptao da rede em prottipos tem normalmente um aprendizado no supervisionado (com um ou mais
pode passar de uma posio passiva (apenas recebendo os dados do jeito como lhe so prottipos associados cada classe). Uma das vantagens deste tipo de redes a possibilidade
passados), para uma posio ativa. Sendo assim, assumimos que este algoritmo poder vir a de fazer um aprendizado contnuo e incremental, uma vez que no muito difcil de conceber
intervir sobre a forma como os dados lhe so repassados. Neste caso, a rede pode intervir e um algoritmo capaz de aumentar a rede neural atravs da adio de novos prottipos. Os
determinar assim quais dados que sero considerados e/ou desconsiderados, alm tambm de prottipos so tambm denominados de clusters, onde apresentamos um exemplo de rede a
determinar a ordem em que estes dados devero ser considerados. A rede pode tambm vir a base de prottipos na figura 2.5. Este tipo de redes vo gerar uma representao dita localista
solicitar novos dados que julgue necessrios para o bom aprendizado do problema proposto. de conhecimentos.
Esta uma rea que vem sendo investigada com mais destaque recentemente.
A adaptao/otimizao dos pesos tambm pode ser implementada por diferentes mtodos, segundo
o tipo de regra de aprendizado que for empregado. As regras de aprendizado mais usadas so [Jodoin 94,
Caudill 92, Simpson 90, Faq 99]: Redes base de Prottipos
:
Y Entradas - X,Y Sada - Classes (A, B ou C)
Mtodos de correo do erro, tais como a descida de uma superfcie de erro baseada no gradiente. A: Exemplos da classe A
B: Exemplos da classe B
Exemplos de modelos deste tipo: Adaline, Perceptron, Back-Propagation, Cascade-Correlation; A A C: Exemplos da classe C
Y2 A A A
X1,Y1 - Prottipo da classe B
A A X2,Y2 - Prottipo da classe A
Mtodos de aprendizado por reforo. Exemplos: Driver-Reinforcement Learning, AHC; B B X3,Y3 - Prottipo da classe A
B B B B C C
Y1 B B B C CC Prottipos:
C C C
B CC C * Centro de Gravidade
Mtodos de aprendizado por competio ou por auto-organizao. Exemplos: Kohonen Self- B B
B
C * Raio de influncia (x,y)
B
Organizing Feature Maps, ART1; A A A Teste de similaridade:
* Distncia Euclidiana
A A
Y3 A A
Mtodos de aprendizado atravs da criao de prottipos ou clusters. Exemplos: RBF, ART1, A
A A
A
ARN2;
X
Mtodos de aprendizado baseados em memrias associativas (auto-associativas ou hetero- X1 X2 X3
associativas). Exemplos: Modelo de Hopfield, BAM.
Mtodos de aprendizado de seqncias temporais (redes recorrentes). Exemplos: SRN, BPTT, Figura 2.5. Prottipos de uma rede neural com duas entradas
RTRL.
Redes base de Perceptrons: as unidades do tipo Perceptron foram criadas por Frank
Existem alguns mtodos que podem pertencer a duas categorias ao mesmo tempo, por exemplo, as Rosenblatt em 1950. Este um dos modelos de neurnios mais utilizados na atualidade. Ele
redes com aprendizado do tipo ARN2 [Giacometti 95] que inclui neste modelo tcnicas de aprendizado a base de diversos tipos de RNA com aprendizado supervisionado utilizando uma adaptao
no-supervisionado, aprendizado supervisionado, adaptao por competio, e tambm atravs do uso de por correo de erros (usualmente baseada na descida da superfcie de erro usando o
um mtodo de criao de prottipos. Nas sees seguintes, ns vamos enfocar com mais ateno os gradiente). O modelo do Perceptron de mltiplas camadas (MLP Multi-Layer Perceptron)
modelos baseados no Perceptron: que possuem aprendizado supervisionado com descida do gradiente. tornou-se muito conhecido e aplicado, sendo na maior parte das vezes associado a regra de
aprendizado do Back-Propagation [Jodoin 94, Widrow 90, Rumelhart 86]. A figura 2.6
apresenta um esquema da representao de conhecimentos nas redes baseadas em Perceptrons,
e como este tipo de redes capaz de classificar padres, gerando planos (ou hiper-planos) de
2.3.2.2. Tipos de Unidades diviso do espao em que se situam os exemplos.
As unidade de uma rede os neurnios artificiais podem ser de diferentes tipos, de acordo com
a funo interna utilizada para calcular o seu estado de ativao. As principais diferenas so relativas ao
2. Mtodos Conexionistas F.Osrio ENIA99 Pg.21 2. Mtodos Conexionistas F.Osrio ENIA99 Pg.22
Reta, Plano ou Hiper-plano Entrada Y
mente conexes laterais (entre os neurnios de uma mesma camada). Um exemplo deste tipo
de separao das classes
+1
- Classe A de arquitetura de redes so as redes do tipo Self-Organizing Feature Maps [Kohonen 87].
- Classe B
A
A A
A P(X1,Y1) = Classe A
Redes com camadas uni-direcionais: as unidades so organizadas em vrios nveis bem
Y1 P(X 1,Y1)
Classe A:
definidos, que so chamados de camadas ou layers. Cada unidade de uma camada recebe suas
B
A
A
A A A
X*W1+Y*W2 > 0 entradas vindas partir de uma camada precedente, e envia seus sinais de sadas em direo a
B B A
A A camada seguinte. Estas redes so conhecidas como redes feed-forward. A Figura 2.7(a) mostra
-1 Entrada X
A A
um exemplo de uma rede de trs camadas uni-direcionais. Esta arquitetura de trs camadas
A X1
B B A +1 (entrada, camada oculta e sada) muito usada em aplicaes prticas das redes neurais. O
B
B B
B
A modelo MLP [Widrow 90, Rumelhart 86] composto em geral de uma arquitetura deste tipo,
B B
B
Entradas:
X, Y
ou seja, com apenas uma camada oculta (hidden layer), mas nada nos impede de colocar mais
B B
B A de uma camada oculta entre a camada de entrada e a camada de sada de uma rede. Um outro
Reta:
Classe B: B
B X*W1+Y*W2=0 tipo de interconexo utilizado em redes uni-direcionais so os atalhos (short-cuts) que
X*W1+Y*W2 < 0 -1
permitem a conexo de uma unidade outra em uma camada posterior, passando por cima de
. outras camadas intermedirias. O uso desta tcnica vai nos permitir saltar por cima de uma
camada at uma outra camada (vide figura 2.7(b)), condio de no introduzir uma
Figura 2.6. Separao de classes (classificao) atravs do uso de um Perceptron recorrncia na rede, o que descaracterizaria esta rede como sendo do tipo feed-forward.
Redes recorrentes: as redes recorrentes podem ter uma ou mais camadas, mas a sua
particularidade reside no fato de que temos conexes que partem da sada de uma unidade em
2.3.2.3. Tipos de Arquiteturas de Conexo das Redes direo a uma outra unidade da mesma camada ou de uma camada anterior esta. Este tipo de
conexes permitem a criao de modelos que levam em considerao aspectos temporais e
As unidades de uma rede neural podem se conectar de diferentes modos, resultando em diferentes comportamentos dinmicos, onde a sada de uma unidade depende de seu estado em um
arquiteturas de interconexo de neurnios. A figura 2.7 apresenta alguns exemplos de possveis maneiras tempo anterior. Os laos internos ao mesmo tempo que do caractersticas interessantes de
de conectar os componentes de uma RNA. As arquiteturas de redes mais importantes so: memria e temporalidade as redes, tornam este tipo de redes muito instveis, o que nos obriga
a usar algoritmos especficos (e usualmente mais complexos) para o aprendizado destas redes.
Sada
Sada Um tipo particular de redes recorrentes so as redes totalmente conectadas, e um exemplo de
modelo recorrente de uma nica camada e totalmente conectado so as redes de Hopfield,
Camada representadas na figura 2.7(d).
Oculta
Camadas
Ocultas Redes de ordem superior: as unidades deste tipo de rede permitem a conexo direta entre
duas ou mais de suas entradas, antes mesmo de aplicar a funo de clculo da ativao da
unidade [Fiesler 94a]. Este tipo de rede serve para modelar sinapses de modulao , ou seja,
Entradas
quando uma entrada pode modular (agir sobre) o sinal que vem de uma outra entrada. Um
B A B C
A B A modelo particular de rede de ordem superior so as redes tipo Sigma-Pi que foram
(a) Rede com trs camadas (b) Rede com atalhos (c) Rede multi-camadas
apresentadas no livro PDP Parallel Distributed Processing [Rumelhart 86], e que so
representadas na figura 2.7(e).
Act = W1A+W2B+W3 AB
W3 A arquitetura de uma rede tambm pode ser classificada de acordo com a evoluo desta no decorrer
W1
W2 X de sua utilizao e desenvolvimento do aprendizado. Em funo deste critrio podemos ter os seguintes
grupos:
A B Redes com estrutura esttica: a rede tem a sua estrutura definida antes do incio do aprendizado.
(d) Rede recorrente (e) Rede de ordem superior A quantidade de neurnios, assim como a sua estrutura de interconexes, no sofrem alteraes
durante a adaptao da rede. As nicas mudanas se realizam nvel dos pesos sinpticos, que
so modificados durante o processo de aprendizado. Este tipo de modelo impe uma dificuldade
Figura 2.7. Arquiteturas de interconexo de neurnios em redes
maior ao usurio: a determinao do nmero ideal de neurnios e de conexes a ser utilizado em
uma determinada aplicao. Uma rede com poucas unidades e conexes tem forte chance de no
Redes com uma nica camada: as unidades esto todas em um mesmo nvel. Neste tipo de
ter sucesso em uma tarefa de aprendizado, no tendo condies de alcanar o melhor
arquitetura, as unidades so conectadas diretamente s entradas externas e estas unidades
desempenho possvel por falta de capacidade de representao de todos os conhecimentos
servem tambm de sadas finais da rede. As redes de uma nica camada possuem normal-
envolvidos no problema tratado. Uma rede com muitas unidades pode ter tambm problemas de
2. Mtodos Conexionistas F.Osrio ENIA99 Pg.23 2. Mtodos Conexionistas F.Osrio ENIA99 Pg.24
convergncia e principalmente de generalizao, pois quando se tem muita capacidade de temporais, como as cotaes da bolsa de valores, ou tambm, uso para o diagnstico mdico), o controle
armazenamento de informaes em uma rede, esta tem uma tendncia a decorar os exemplos no de processos e a aproximao de funes (e.g. aplicaes na rea da robtica). Todas estas tarefas podem
lugar de aprend-los (generalizar os conhecimentos sobre o problema) [Fiesler 97, Krogh 95]. ser reagrupadas em dois grupos principais, segundo o tipo de sada fornecido pela rede neural e o
No caso deste tipo especfico de redes, no existe um mtodo formal que permita determinar o comportamento que buscado. Estes dois grupos so:
nmero exato e timo de unidades e conexes serem empregadas no aprendizado de um
Redes para a aproximao de funes: este tipo de redes devem ter uma sada com valores
determinado problema. As redes do tipo MLP com Back-Propagation, de acordo com o modelo
contnuos e usualmente so empregadas para realizar aproximaes de funes (interpolao)
proposto por Rumelhart, so redes do tipo esttico.
[Chentouf 97]. Neste tipo de aplicaes, as funes so representada por um conjunto de
pontos-exemplo desta. Este tipo de redes capaz de aprender uma funo de transformao
Redes com estrutura dinmica: as redes que possuem uma estrutura dinmica so redes onde o
(ou de associao) de valores de entrada em valores de sada, usualmente estimando por
nmero de unidades e conexes pode variar no decorrer do tempo. Estas redes so tambm
interpolao as respostas para os casos que no aparecem na base de exemplos. Este tipo de
chamadas de ontognicas [Fiesler 94b]. As modificaes na estrutura da rede podem ser do tipo
problemas de aprendizado neural de funes conhecido por ser uma aplicao de um
generativo (incremental) ou do tipo destrutivo (redutor por eliminao/simplificao). A escolha
problema de regresso [Bishop 97]. Em geral as funes serem aprendidas pelas redes
entre estes dois tipos de mtodos bastante polmica: devemos comear com uma rede pequena
possuem tanto as entradas como as sadas indicadas atravs de valores contnuos (variveis
e ir aumentando ela, ou devemos comear com uma rede bastante grande e ir reduzindo o seu
no discretas).
tamanho posteriormente? Alguns autores defendem a idia de uma criao construtiva de
conhecimentos[Elman 93, Osrio 98]. Do ponto de vista relacionado carga de processamento
Redes para a classificao de padres: este tipo de redes deve atribuir para cada exemplo
de dados necessria para as simulaes neurais, a opo por uma rede pequena que adiciona
que lhe fornecido uma classe ao qual este exemplo pertence. Portanto, a sada da rede a
pouco pouco novas unidades e conexes sem dvida a de melhor performance, pois nas
classe associada ao exemplo e por conseqncia, as classes so valores discretos e no
redes do tipo destrutivo uma grande parte do esforo de aprendizado acaba sendo depois
contnuos. A classificao um caso particular da aproximao de funes onde o valor de
destrudo ao ser realizada a simplificao da rede. Apesar desta discusso, sobre qual dos dois
sada da rede discretizado e pertence a um conjunto finito de classes. No caso do
tipos de redes com estrutura dinmica que seria melhor usar, no possuir um consenso, podemos
aprendizado supervisionado, o conjunto de classes bem definido e conhecido antes de ser
dizer que uma grande parte dos pesquisadores concorda que as redes ontognicas em geral so
iniciado o processo de aprendizado. Uma rede utilizada para fins de classificao deve possuir
um dos melhores mtodos que existem para se escolher uma boa arquitetura para uma rede
sadas discretas, ou ento, deve implementar mtodos de discretizao de suas sadas (e.g.
neural e assim resolver melhor um certo problema proposto. As redes do tipo Cascade-
aplicao de um limiar de discriminao activation threshold). As entradas da rede podem
Correlation (CasCor [Fahlman 90]) so redes do tipo dinmico e incremental.
ser tanto contnuas, como tambm podem ser discretas, o que no deve interferir no fato desta
O ltimo ponto relevante que vamos abordar em relao a arquitetura das redes neurais est rede ser usada para uma aplicao classificao.
relacionado modularidade [Ronco 96, Ronco 95, Amy 96, Rouzier 98, Jacobs 91]. As redes neurais
Seria muita pretenso de nossa parte se tentssemos classificar todos os diferentes modelos de redes
podem trabalhar com arquiteturas modulares: elas podem ser constitudas por blocos com uma maior ou
neurais em apenas uma destas duas classes descritas acima. A maioria dos modelos pode ser adaptado para
menor dependencia entre eles. Existem diferentes maneiras de integrar e fazer cooperar os diferentes
ser utilizado em um ou em outro tipo de aplicao, entretanto, alguns modelos so claramente mais
mdulos de uma rede neural. Um primeiro mtodo consiste em decompor o problema e obter assim
adaptados a um tipo de tarefa que ao outro, como o caso do Cascade-Correlation que foi desenvolvido
mdulos especializados para cada sub-problema. Um exemplo de aplicao deste tipo de mtodo o caso
basicamente apenas para tarefas de classificao.
das aplicaes de classificao em mltiplas classes, onde o problema de identificao de cada classe pode
ser tratado por mdulos separados, e ento no lugar de ter um nico classificador para os N exemplos em
M classes, temos um classificador para cada uma das M classes. Outro tipo de mtodo usado pelas redes
modulares, mas mais complexo de ser implementado, aquele onde os diferentes mdulos vo tentar
cooperar entre si a fim de juntos resolverem um problema. Neste tipo de mtodo no so impostas tarefas 2.2. Discusso sobre as Redes Conexionistas
particulares mdulos pr-especificados, deixando para a rede a tarefa de distribuir os conhecimentos e
gerenciar a interao entre os mdulos. As redes conexionistas utilizam mtodos de aprendizado partir de exemplos que possibilitam o
ajuste dos pesos de suas conexes, resultando em um comportamento prximo ou at mesmo exatamente
A modularidade um problema relativo escolha de uma arquitetura de rede, mas ela tambm pode igual ao esperado. Esta modificao dos pesos da rede feita de forma que a rede generalize os
ser ligada ao problema de particionamento dos dados de aprendizado (em um esquema semelhante ao conhecimentos contidos na base de exemplos de aprendizado.
usado na aprendizagem ativa, onde cada mdulo poderia escolher que informaes iria tratar). Para
concluir, devemos salientar que a modularidade pode se tornar um aspecto muito importante a ser Uma boa definio das redes conexionistas dada por Giacommetti [Giacometti 92]: as redes so
considerado segundo o tipo e a complexidade do problema ser tratado. capazes de aprender e representar o saber fazer algo (savoir-faire), que se traduz pelo seu
comportamento aps o processo de aprendizado de uma tarefa; este saber fazer, representado pelos
conhecimentos prticos (empirical knowledge ~ practical examples) adquiridos pela rede, aparece aqui
2.3.2.4. Tipos de Aplicaes das Redes Neurais
em oposio ao saber sobre algo (savoir-que) que representa os conhecimentos tericos sobre um
As RNA podem ser aplicadas diferentes tipos de tarefas, tais como: o reconhecimento de determinado assunto (theorical knowledge ~ symbolic rules). Esta distino entre o saber fazer uma tarefa
padres (e.g. reconhecimento de faces humanas), a classificao (e.g. reconhecimento de caracteres - e o conhecimento sobre a tarefa, um dos pontos mais importantes de nossa discusso sobre os sistemas
OCR), a transformao de dados (e.g. compresso de informaes), a predio (e.g. previso de sries hbridos, pois como veremos mais adiante, ambos os conhecimentos se completam um ao outro.
2. Mtodos Conexionistas F.Osrio ENIA99 Pg.25 2. Mtodos Conexionistas F.Osrio ENIA99 Pg.26
Antes de prosseguir em nossa anlise sobre as redes conexionistas, cabe ressaltar que no seria um problema para outro. Uma simples troca do conjunto de exemplos de uma base de
possvel fazer aqui uma anlise relativa a todos os modelos de redes neurais, por isso nosso estudo se aprendizado pode nos obrigar a reconfigurar toda a rede;
concentra principalmente em dois tipos principais de redes: as redes base de prottipos com aprendizado
supervisionado e as redes base de Perceptrons (MLP) com aprendizado supervisionado. Nosso objetivo - Inicializao e codificao: os algoritmos de aprendizado conexionista so em geral muito
fazer uma discusso orientada principalmente para estes dois tipos de redes, para posteriormente analisar o dependentes do estado inicial da rede (devido a inicializao aleatria dos pesos) e da
uso destes modelos junto aos sistemas hbridos inteligentes. Devemos ressaltar tambm que nosso codificao dos dados da base de aprendizado. Uma m escolha dos pesos iniciais da rede, do
interesse voltado s redes usadas para aplicaes de classificao, visto que nosso estudo aborda mtodo de codificao dos dados de entrada, ou mesmo, a ordem de apresentao destes
aplicaes do tipo sistemas especialistas, onde a aproximao de funes no uma caracterstica tpica dados, pode levar ao bloqueio do processo de aprendizado (e seu conseqente fracasso), ou
deste tipo de sistemas. ento, pode dificultar bastante o processo de convergncia da rede na direo de uma boa
soluo;
As redes conexionistas, em particular aquelas que tem sido aplicadas na construo de sistemas
inteligentes, possuem as seguintes vantagens: - Caixa preta: os conhecimentos adquiridos por uma rede esto codificados no conjunto de
valores dos pesos sinpticos, assim como pela maneira pela qual estas unidades se conectam.
- Conhecimento emprico: o aprendizado partir de exemplos feito de uma maneira bastante extremamente difcil para um ser humano conseguir interpretar diretamentes estes
simples e permite uma aquisio de conhecimentos de forma automtica, muitas vezes de conhecimentos. As redes conexionistas so caixas pretas onde os conhecimentos ficam
maneira bem mais fcil e confivel do que atravs de outros mtodos de aquisio de codificados de tal forma que estes so ininteligveis para o utilizador ou at mesmo para um
conhecimentos (ajuda a resolver em parte o problema do gargalo da aquisio de especialista. Uma rede no possui a capacidade de explicitar o tipo de raciocnio que lhe levou
conhecimentos bem conhecido dos sistema especialistas); a obter uma certa resposta, ao contrrio dos sistemas baseados em regras, que por sua vez
podem facilmente mostras a seqncia de regras aplicadas na resoluo de um problema;
- Degradao progressiva: as respostas dadas por uma rede se degradam progressivamente na
presena de perturbaes e distores dos dados de entradas. Em geral, as redes obtm uma - Conhecimentos tericos: as redes neurais clssicas no permitem que se utilize os
boa generalizao dos conhecimentos presentes na base de aprendizado e sendo assim so conhecimentos tericos que possam estar disponveis sobre um determinado problema que
menos sensveis a perturbaes do que os sistemas simblicos; estejamos tratando. Como as rvores de deciso, as redes neurais so orientadas para a
aquisio de conhecimentos empricos (baseados em exemplos). Um modo simplista de se
- Manipulao de dados quantitativos: o fato de se trabalhar com uma representao aproveitar algum conhecimento terico pr-existente, consiste em se converter regras em
numrica dos conhecimentos implica que as redes so melhor adaptadas para a manipulao exemplos (prottipos representativos destas regras). Entretanto, este tipo de mtodo no nos
de dados quantitativos (valores contnuos). Grande parte dos problemas de nosso mundo real, garante que a rede ser capaz de aprender corretamente estes exemplos, sendo assim, no
necessitam do tratamento de informaes medidas de forma quantitativa, onde uma podemos garantir que ao final do aprendizado todos os conhecimentos tericos disponveis
representao qualitativa muitas vezes implica na perda de informaes. As redes neurais so estaro bem representados internamente na rede.
menos vulnerveis aos dados aproximativos e a presena de dados distorcidos ou incorretos
que possam estar presentes na base de aprendizado. Esta capacidade de manipular dados Estes tpicos listados acima no cobrem exaustivamente todas vantagens e desvantagens das redes
aproximados e at mesmo inexatos mais difcil de ser encontrada em outros mtodos de conexionistas, mas permitem que se tenha uma idia das principais caractersticas deste tipo de sistemas.
aprendizado do tipo simblico; Podemos encontrar uma anlise complementar a citada acima em outras obras da rea, como por exemplo
[Orsier 95, Towell 91, Fahlman 88]. No que diz respeito mais especificamente ao aprendizado usando
- Paralelismo em larga escala: as redes neurais so compostas de um conjunto de unidade de redes neurais baseadas em MLP com Back-Propagation (um dos modelos de redes neurais mais utilizados
processamento de informaes que podem trabalhar em paralelo. Apesar da maioria das na atualidade), podemos listar alguns dos pontos inconvenientes deste modelo:
implementaes de RNAs serem feitas atravs de simulaes em mquinas seqenciais,
possvel de se implementar (softwares e hardwares) que possam explorar esta possibilidade de - Paralisia do aprendizado: as redes do tipo MLP com Back-Propagation, devido maneira
ativao simultnea das unidades de uma rede. A maior parte das implementaes de redes como o algoritmo ajusta os pesos, tem a tendncia no mais corrigir estes pesos uma vez que
neurais simuladas em mquinas seqenciais pode ser facilmente adaptada em uma verso a sada das unidades da rede forneam valores prximos 0 ou 1 (isto se deve ao uso da
paralela deste sistema. aplicao da sigmode e de sua derivada pelo algoritmo Back-Propagation). Este
comportamento do algoritmo de aprendizado permite dar uma maior estabilidade ao processo
As redes conexionistas apresentam um certo nmero de inconvenientes, do mesmos modo que os de adaptao dos pesos, mas em compensao pode paralisar o aprendizado da rede. Este
outros tipos de mtodos de aprendizado. No caso especfico das redes, temos limitaes tais como: problema tambm conhecido como o flat spot problem.
- Arquitetura e parmetros: no existe um mtodo totalmente automtico para que se possa - Instabilidade e esquecimento catastrfico: de maneira inversa ao problema da paralisia, as
escolher a melhor arquitetura possvel para um problema qualquer. bastante difcil de se redes tambm podem sofrer de um problema de instabilidade com a conseqente perda dos
encontrar uma boa topologia de uma rede, assim como os bons parmetros de regulagem do conhecimentos anteriormente adquiridos. Uma vez que as redes realizam a minimizao do
algoritmo de aprendizado. A evoluo do processo de aprendizado bastante influenciada por erro de uma maneira no coordenada, ou seja, as unidades competem entre si a fim de reduzir
estes dois elementos: a arquitetura da rede e os parmetros de regulagem do algoritmo. O o erro, isto pode levar a uma constante concorrncia entre as unidades. No importa se uma
sucesso da rede depende bastante de uma boa escolha destes elementos, que variam muito de unidade se adaptou a fim de realizar uma pequena, mas importante tarefa, esta unidade vai
2. Mtodos Conexionistas F.Osrio ENIA99 Pg.27 2. Mtodos Conexionistas F.Osrio ENIA99 Pg.28
continuar sempre tentando alterar os seus pesos a fim de minimizar o erro global ao mximo tambm capaz de adequar a sua estrutura aos requisitos do problema, sendo que esta deveria
possvel. Este tipo de comportamento competitivo pode nos levar duas situaes: (1) as poder aumentar de tamanho (quantidade de neurnios) medida que fosse aumentando a
unidades mudam constantemente de opinio durante o aprendizado (conhecido como o complexidade do problema tratado;
moving targer problem) , ou, (2) a rede perde grande parte dos conhecimentos j adquiridos
ao tentarmos aprender um novo conjunto de exemplos de aprendizado (conhecido como o - Estimativa da topologia: deve-se buscar mtodos que permitam ao usurio criar uma
esquecimento catastrfico). Portanto este problema envolve a busca de um ponto de equilbrio topologia de rede adequada para tratar um determinado problema. O ideal seria dotar as redes
entre a grande plasticidade (capacidade de se adaptar) e a estabilidade (necessidade de manter neurais de mecanismos que possibilitem que esta ajuste automaticamente a sua estrutura em
as informaes) das redes neurais. Redes neurais com uma grande plasticidade esto sujeitas a funo do problema tratado;
ficarem alterando indefinidamente os seus pesos, ou ento, destruir uma boa configurao de
pesos ao tentar adquirir novos conhecimentos. - Estimativa dos parmetros de aprendizado: um bom algoritmo de aprendizado no deve ser
muito dependente de parmetros externos, e idealmente, a rede deveria poder de maneira
- Escolha dos parmetros do algoritmo de aprendizado e a velocidade de convergncia: na automtica ajustar todos os seus parmetros para conseguir um resultado timo no
maior parte das aplicaes, a velocidade de convergncia de uma rede em direo um aprendizado;
mnimo (local ou global) de erro realizada de maneira muito lenta. As alteraes dos pesos
da rede devem ser feitas pouco pouco de modo a garantir que no se ultrapasse o ponto - Introduo de conhecimentos a priori: as redes neurais devem permitir que conhecimentos a
timo de mnimo da curva de erro. O algortimo de Back-Propagation dotado de dois priori sobre o problema possam ser inseridos de maneira a facilitar e adiantar o aprendizado
parmetros e que controlam respectivamente a velocidade de aprendizado (learning de um determinado problema;
speed) e a inrcia na descida da curva de erro (momentum). Estes dois parmetros permitem
que o processo de adaptao dos pesos da rede seja acelerado ou retardado, mas preciso que - Instabilidade e velocidade: um bom algoritmo de aprendizado deve ser o menos instvel
eles sejam ajustados precisamente para que se obtenha bons resultados. Estes dois parmetros, possvel, com timas chances de adaptar os pesos da rede e convergir em direo a uma boa
que devem ser fornecidos pelo usurio, so essenciais para o bom desempenho do processo de soluo, minimizando o mais possvel o erro na sada da rede. Este algoritmo deve permitir
aprendizagem. O problema que no possumos mtodos precisos de estimar estes valores. um aprendizado rpido e eficiente;
Alm disso, os valores de e so bastante dependentes do tipo de aplicao e da base de
exemplos de aprendizado utilizada, devendo ser reconfigurados novamente caso o problema - Abrir a caixa preta: devemos buscar uma soluo para o problema da falta de mecanismos
tratado seja alterado. Um valor de ou que no seja muito bem escolhido pode levar ao para analisar os conhecimentos adquiridos pela rede. Devemos ser capazes de representar os
fracasso toda a tentativa de se aprender uma base de dados. por isso que normalmente o conhecimentos adquiridos pela rede em um formato mais compreensvel para os seres
aprendizado de uma base de exemplos feito com o uso de N conjuntos de configuraes de humanos;
parmetros do algoritmo, para que se possa ter uma melhor chance de encontrar os valores
- Aprendizado ativo: a rede neural deve ser capaz de dar um retorno sobre o processo de
adequados destes parmetros.
aprendizado, indicando quais os exemplos que devem ser tratados com uma maior prioridade,
Para concluir sobre as redes MLP, o algoritmo de Back-Propagation no um algoritmo ou at mesmo, indicando a necessidade de mais exemplos de uma categoria especfica para
incremental, nem ao nvel da base de exemplos, e muito menos ao nvel da estrutura da rede. A que o problema possa ser corretamente tratado;
arquitetura da rede esttica e consequentemente este continua ser um problema a mais no que se
refere ao aprendizado: como fazer para estimar o nmero ideal de neurnios para uma dada aplicao? - Tratamento de informaes temporais e contexto: as redes neurais devem ser capazes de
considerar o contexto (possuir memria) e assim poder tambm tratar informaes que
Apesar de todos estes problema, o algoritmo Back-Propagation ainda um dos mtodos mais evoluem no decorrer do tempo, como por exemplo as sries temporais. As redes recorrentes
usados junto as redes neurais. Alguns pesquisadores, conscientes dos problemas deste algoritmo, parecem ser um caminho importante a seguir nesta direo, mas ainda restam problemas a
propuseram tcnicas para resolver ou reduzir estes problemas [Schiffmann 93, 94]. Podemos citar aqui serem resolvidos no que se refere a instabilidade e confiabilidade deste tipo de redes.
alguns destes mtodos aperfeioados de aprendizado: o RPROP [Riedmiller 93], o QuickProp [Fahlman
Estes itens citados acima seguem sendo pesquisados atualmente, e muitas propostas tem sido
88], o Gradiente Conjugado (Scaled Conjugated Gradient) [Moller 90] e o Cascade-Correlation
apresentadas a fim de solucionar (ou minimizar) os problemas ainda enfrentados pelas redes neurais.
[Fahlman 90], bem como as tcnicas ontognicas de aprendizado [Fiesler 94].
Apesar de termos problemas relacionados ao aprendizado neural sem serem completamente solucionados,
este tipo de tcnica tem adquirido uma importncia cada vez maior junto aplicaes que necessitem de
uma aquisio automtica de conhecimentos. As redes neurais superam em muitos casos os demais
2.3. Redes Neurais: A busca de uma soluo tima
mtodos automticos de aquisio de conhecimentos.
As redes neurais possuem algumas limitaes e problemas que citamos na seo anterior. Vamos
listar aqui alguns pontos que devem ser considerados e discutidos no que se refere as redes neurais e a
busca de uma soluo ou melhoria do aprendizado neural:
- Aprendizado incremental: a rede neural deve ser capaz de adquirir novos conhecimentos, sem BIBLIOGRAFIA
no entanto destruir os conhecimentos anteriormente adquiridos. A rede neural deve ser
2. Mtodos Conexionistas F.Osrio ENIA99 Pg.29 2. Mtodos Conexionistas F.Osrio ENIA99 Pg.30
[Amy 96] AMY, Bernard. Recherches et Perspectives dans le Domaine des Rseaux Connexionnistes. [Fiesler 97] FIESLER, E. & BEALE, R. Handbook of Neural Computation. Institute of Physics and
Rapport de Recherche - DRET, Octobre 1996. Web: http://www-leibniz.imag.fr/RESEAUX/public.html Oxford University Press. New York, NY - U.S.A., 1997. Web: http://www.idiap.ch/ publications/fiesler-
Ftp: ftp://ftp.imag.fr/pub/LEIBNIZ/RESEAUX-D-AUTOMATES/ 96.1.bib.abs.html or http://www.oup-usa.org/acadref/nc_accs.html
[Arbib 95] ARBIB, Michael A. (Editor) The Handbook of Brain Theory and Neural Networks. MIT Press, [Freeman 92] FREEMAN, James A., SKAPURA, David M.. Neural Networks: Algorithms, Applications,
1995. and Programming Techniques.1. ed., Reading: Addison-wesley, 1992. 401 p. il.
[Bishop 97] BISHOP, Christopher. Classification and Regression. In: Handbook of Neural Computation [Giacometti 95] GIACOMETTI, Arnaud. ARN2 - A Prototype-Based Incremental Neural Network.
(section B6.2). E. Fiesler and R. Beale (Eds.) Institute of Physics and Oxford University Press. New York, WNNDA - Workshop on Neural Network Design and Analysis. University of Geneva. January 1995.
NY - U.S.A., 1997. Web: http://www.idiap.ch/publications/fiesler-96.1.bib.abs.html or http://www.oup-
usa.org/acadref/nc_accs.html [Jacobs 91] JACOBS, R. A., JORDAN, M. I., NOWLAN, S., and HINTON, G. E. (1991). Adaptive
mixtures of local experts. In Neural Computation, (3), 1-12.
[Bishop 95] BISHOP, C.M. Neural Networks for Pattern Recognition, Oxford: Oxford University Press. Web: http://www.ai.mit.edu/projects/cbcl/people/jordan/jordan-hp.html
ISBN 0-19-853849-9. 482 pages.1995.
[Jodouin 94a] JODOUIN, Jean-Franois. Les Rseaux de neurones : Principes et dfinitions. Editions
[Caudill 92] CAUDILL, Maureen & BUTLER, Charles. Understanding Neural Networks - Vol.1: Basic Herms, Paris, 1994.
Networks, Vol.2: Advanced Networks. Bradford Books, MIT Press, 1992.
[Jodouin 94b] JODOUIN, Jean-Franois. Les Rseaux Neuromimtiques : Modles et applications.
[Chentouf 97] CHENTOUF, Rachida. Construction de Rseaux de Neurones Multicouches pour Editions Herms, Paris, 1994.
l'Approximation. Thse de Doctorat en Sciences Cognitives, Laboratoire TIRF - INPG, Grenoble - France,
Mars 1997. [Kohonen 87] KOHONEN, Teuvo. Self-Organization and Associative Memory. Springer-Verlag Series in
Information Science. 1987.
[Elman 93] ELMAN, Jeffrey L. Learning and Development in Neural Networks: The Importance of
Starting Small. Cognition, 48(1993), pp.71-99. 1993. Web: http://crl.ucsd.edu/~elman/ [Krogh 95] KROGH, Anders & VEDELSBY, Jesper. Neural Network Ensembles, Cross Validation and
Ftp: ftp://crl.ucsd.edu/pub/neuralnets/cognition.ps.Z Active Learning in NIPS - Advances in Neural Information Processing Systems, Vol. 7, pp. 231-238, The
MIT Press, 1995), also available in the neuroprose archive as krogh.ensemble.ps.Z.
[Fahlman 88] FAHLMAN, Scott E. An Empirical Study of Learning Speed in Back-Propagation
Networks. Carnegie Mellon University - CMU. Computer Science Technical Report CMU-CS-88-162. [Krose 93] KRSE, Ben J. & VAN DER SMAGT, Patrick. An Introduction to Neural Networks.
September 1988. Web: http://www.cs.cmu.edu/Reports/index.html University of Amsterdam, 1993. Web: http://www.fwi.uva.nl/research/ias/ ou
ftp://ftp.wins.uva.nl/pub/computer-systems/aut-sys/reports/neuro-intro/
[Fahlman 90] FAHLMAN, S. E.; LEBIERE, C. The Cascade-Correlation Learning Architecture.
Carnegie Mellon University - CMU, Computer Science Technical Report - CMU-CS-90-100. February [Moller 90] MOLLER, Martin F. A Scaled Conjugate Gradient Algorithm for Fast Supervised Learning.
1990. Web: http://www.cs.cmu.edu/Reports/index.html Technical Report PB-339 - Compter Science Dept., University of Aarhus, Denmark. November 1990.
Ftp: ftp://archive.cis.ohio-state.edu/ pub/neuroprose/fahlman.cascor-tr.ps.Z Ftp: ftp://archive.cis.ohio-state.edu/pub/neuroprose/moller.conjugate-gradient.ps.Z
[Faq 99] FAQ. Faq ANN - Comp.ai.neural-nets 1999. [Orsier 94] ORSIER, Bruno; AMY, Bernard; RIALLE, Vincent & GIACOMETTI, Arnaud. A study of the
Web: http://www.cis.ohio-state.edu/hypertext/faq/usenet/ai-faq/neural-nets/ hybrid system SYNHESYS. Workshop ECAI-94 (European Conference on Artificial Intelligence) -
Combining Connectionist and Symbolic Processing. Amsterdam, Agosto1994.
[Faq 99a] FAQ. Faq ANN - Comp.ai.neural-nets FAQ, Part 4 of 7: Books, data, etc. 1999.
Web: http://www.cis.ohio-state.edu/hypertext/faq/usenet/ai-faq/neural-nets/part4/faq-doc-1.html [Orsier 95] ORSIER, Bruno. Etude et Application de Systmes Hybrides NeuroSymboliques. Thse en
Informatique, Laboratoire LIFIA-IMAG, UJF - Grenoble, 1995.
[Fiesler 94a] FIESLER, E. Neural Networks Formalization and Classification. Computer Standard & Web: http://www-leibniz.imag.fr/RESEAUX/public.html .
Interfaces, Special Issue on Neural Networks Standards, John Fulcher (Ed.). V.16, N.3. Elsevier Sciences Ftp: ftp://ftp.imag.fr/pub/LEIBNIZ/RESEAUX-D-AUTOMATES/orsier.these.ps.gz
Publishers, Amsterdam, June, 1994. Web: http://www.idiap.ch/idiap-networks.html .
Ftp: ftp://ftp.idiap.ch/pub/papers/neural/fiesler.formalization.ps.Z [Osrio 91] OSORIO, Fernando Santos. Um Estudo sobre Reconhecimento Visual de Caracteres atravs
de Redes Neurais. Dissertao de Mestrado, CPGCC, UFRGS, Porto Alegre - Brasil. Outubro 1991.
[Fiesler 94b] FIESLER, Emile. Comparative Bibliography of Ontogenic Neural Networks. Proceedings of
the International Conference on Artificial Neural Nets - ICANN' 94. Sorrento, Italy, May 1994. Web: [Osrio 98] OSORIO, Fernando Santos. INSS: Un Systme Hybride Neuro-Symbolique pour
http://www.idiap.ch/idiap-networks.html . lApprentissage Automatique Constructif. Thse de Doctorat (Ph.D.) en Informatique. Laboratoire Leibniz
Ftp: ftp://ftp.idiap.ch/pub/papers/neural/fiesler.ontogenic-summary.ps.Z IMAG / INPG. Grenoble, France. 1998.
2. Mtodos Conexionistas F.Osrio ENIA99 Pg.31
Web: http://www-leibniz.imag.fr/RESEAUX/osorio/These/
[Riedmiller 93] RIEDMILLER, Martin & BRAUN, Heinrich. A Direct Adaptative Method for Faster
Backpropagation Learning: The RPROP Algorithm. Proceedings of the IEEE International Conference on
Neural Networks. San Francisco - CA - USA. 1993. Web: http://i11www.ira. uka.de/~riedml/ (or ~neuro)
[Ripley 96] RIPLEY, B.D. Pattern Recognition and Neural Networks, Cambridge: Cambridge University
Press, ISBN 0-521-46086-7. 403 pages. 1996.
[Ronco 95] RONCO, Eric & GAWTHROP, Peter J., 1995. Modular Neural Networks: a state of the art.
Tech. rep CSC-95026. University of Glasgow.
Web: http://www.ee.usyd.edu.au/~ericr/pub/techrep.html
[Ronco 96] RONCO, Eric; GOELLE, Henrik & GAWTHROP, Peter J., 1996. Modular Neural Network
and Self-Decomposition. Tech. Rep CSC-96012. University of Glasgow.
Web: http://www.ee.usyd.edu.au/~ericr/pub/techrep.html
[Rouzier 98] ROUZIER, Sophie. Rseaux Modulaires. Thse de Doctorat en Sciences Cognitives, Eq.
Rseaux d'Automates - Lab. LEIBNIZ - IMAG, Grenoble - France, 1998.
[Rumelhart 86] RUMELHART, D.; HINTON, G. & WILLIANS, R. Learning Internal Representations by
Error Propagation. In : Rumelhart & McClelland: Parallel Distributed Processing - Explorations in the
Microstructure of Cognition - Vol.1: Foundations. Cambridge: MIT Press, 1986.
[Schiffmann 93] SCHIFFMANN, W.; JOOST, M. & WERNER, R. Comparison of Optimized
Backpropagation Algorithms. Proceedings of the European Symposium on Artificial Neural Networks,
ESANN' 93, Brussels, p.97-104, 1993. Web: http://www.uni-koblenz.de/~schiff/ publications.html
[Schiffmann 94] SCHIFFMANN, W.; JOOST, M. & WERNER, R. Optimization of the Backpropagation
Algorithm for Training Multilayer Perceptrons. Technical Report, University of Koblenz, Deutschland.
September 1995. Web: http://www.uni-koblenz.de/~schiff/publications.html
[Simpson 90] SIMPSON, Patrick K. Artificial Neural Systems: Foundations, Paradigms, Applications and
Implementations. Pergamon Press, 1990.
[Sutton 98] SUTTON, Richard S. & BARTO, Andrew G. Reinforcement Learning: An Introduction. MIT
Press (A Bradford Book), Cambridge, MA, 1998.
[Towell 91] TOWELL, Geoffrey. Symbolic Knowledge and Neural Networks: Insertion, Refinement and
Extraction. Ph.D. Thesis, Computer Science Dept., University of Wisconsin-Madison, U.S.A. 1991.
Web: http://www.cs.wisc.edu/~shavlik/uwml.html
Ftp: ftp://ftp.cs.wisc.edu/machine-learning/shavlik-group/ (towell.thesis.*.ps)
[Widrow 90] WIDROW, Bernard & LEHR, M. 30 Years of Adaptive Neural Networks : Perceptron,
Madaline, and Back-Propagation. Proceedings of the IEEE, New York, Vol.78, N.9, pp.1415-1441.
September 1990.
2. Mtodos Conexionistas F.Osrio ENIA99 Pg.32
3. Sistemas Hbridos F.Osrio ENIA99 Pg.32 3. Sistemas Hbridos F.Osrio ENIA99 Pg.33
3. Sistemas Hbridos Inteligentes - Integrar diferentes tipos de representao de conhecimentos: exemplos (casos tpicos), contra-
exemplos (casos atpicos), regras e predicados lgicos, regras difusas (fuzzy), probabilidades,
etc.
3.1. Conceitos Bsicos
- Trocar informaes e conhecimentos entre os seus mdulos, o que usualmente, lhe confere uma
caracterstica de um sistema que evolui no tempo, construindo o conhecimento atravs de
O conceito de sistema hbrido inteligente ou de mtodo hbrido de aquisio de conhecimentos interaes entre o usurio e o sistema e entre os diferentes mdulos do sistema.
bastante amplo e pode englobar diferentes tipos de abordagens. De uma maneira mais geral, podemos
dizer que todo o sistema que integre dois ou mais mtodos diferentes para a soluo de um problema um - Muitas vezes, ao combinar mltiplos mdulos, teremos assim um sistema que deve ser mais
sistema hbrido. Ns iremos nos concentrar aqui principalmente em relao aos mtodos de aquisio robusto, e que aceite certas contradies e conflitos cognitivos entre os seus diferentes
automtica de conhecimentos (aprendizado automtico / machine learning), que permitem a integrao mdulos. Isto at pode vir a ser um problema, mas se for bem explorado poder nos trazer
dos diferentes mtodos de processamento de conhecimentos simblico e conexionista que foram grandes vantagens.
apresentados anteriormente. Nossa idia no de traar uma lista minuciosa de todas as possibilidades de
combinaes entre os diferentes mtodos, o que dificilmente seria possvel dada a enorme quantidade de De maneira bastante informal, podemos concluir esta introduo aos sistemas hbridos
variaes sobre este tema. Nosso objetivo o de apresentar uma viso mais geral sobre os tipos de citando aqui um ditado popular que diz que vrias cabeas pensam melhor do que uma nica, e
sistemas hbridos inteligentes mais comuns, apresentando tambm exemplos prticos do que feito adicionando uma pequena observao no que diz respeito ao comportamento humano, que
atualmente em termos de mtodos e sistemas hbridos.
felizmente, difere de uma pessoa para a outra. Portanto o que buscamos com o uso dos sistemas
Uma questo importante que devemos responder : quais as principais motivaes que nos hbridos a integrao de mltiplos mdulos que cooperam entre si, cada um com suas
levariam utilizao deste tipo de sistemas ?. Apesar dos sistemas hbridos serem mais complexos e especificidades, visando em conjunto o tratamento de um objetivo comum.
difceis de serem implementados, devido ao simples fato de serem compostos por mltiplos mdulos e
tambm porque precisamos fazer estes mdulos interagirem, mesmos assim estes sistemas tem sido muito
estudados e aplicados. Primeiramente vamos nos concentrar nas principais vantagens advindas de sua 3.2. Tipos de Integrao em Sistemas Inteligentes
utilizao:
Vamos analisar aqui algumas possibilidades de integrao de diferentes tipos de mtodos e
- A integrao de duas tcnicas complementares permite que uma complete as deficincias da sistemas de aquisio e representao de conhecimentos empregados nos sistemas inteligentes. Nas sees
outra de forma a obter um melhor desempenho. anteriores, vimos alguns mtodos automticos de aquisio de conhecimento que se destacaram:
- Ao usarmos diferentes tcnicas de aquisio e de representao de conhecimentos ampliamos a - rvores de deciso (IDT - Induction of Decision Trees);
capacidade do sistema de adquirir novas informaes, e tambm, fazemos com que este sistema
- Sistemas baseados em conhecimentos (KBS - Knowledge Based Systems), sistemas especialistas
no tenha apenas uma viso parcial, limitada pelas imposies e restries de um nico mtodo,
(Expert Systems) e sistemas baseados em regras (Rule Based/Production Systems);
dificultando a obteno de uma soluo para um determinado problema tratado.
- Sistemas baseados em regras de lgica difusa ou nebulosa (Fuzzy Logic rules);
- Algumas tarefas muito complexas que usualmente no podem ser abordadas atravs da
- Sistemas baseados em conhecimentos
utilizao de uma nica tcnica para a sua soluo, podem ser quebradas em sub-problemas, e
estes sim podem ser tratados individualmente, chegando-se a uma soluo global do problema. - Sistemas de aquisio de conhecimentos do tipo ILP (Inductive Logic Programming);
- Sistemas baseados em casos/exemplos (CBR Case Based Reasoning);
- O processamento em paralelo de informaes pelos diferentes mdulos ir usualmente nos
permitir que tenhamos sistemas com uma maior performance, mais robustos, e com uma maior - Algoritmos Genticos (GA Genetic Algorithms);
tolerncia a falhas.
- Redes Neurais Artificiais (ANN Artificial Neural Networks);
Em relao aos sistemas hbridos inteligentes, podemos considerar tambm que estes, em seu
Estes mtodos tem sido usados de forma combinada, dando origem a mltiplos sistemas hbridos
objetivo maior que a reproduo do comportamento inteligente humano, se caracterizam por:
que esto relacionados na bibliografia especfica desta rea de estudos [Osorio 99]. Vamos tentar dar uma
idia de algumas destas possveis combinaes entre os referidos mtodos citados acima.
- Os seres humanos no empregam um nico mtodo de soluo de problemas, usando diferentes
tcnicas, como por exemplo, solues baseadas: em experincias passadas; em conhecimentos
3.2.1. Sistemas Simblico-Difusos:
tericos adquiridos; em diferentes mtodos de raciocnio por inferncia, por probabilidades,
por deduo, por analogia; etc. Assim como os seres humanos, os sistemas inteligentes
Os sistemas simblico-difusos integram a lgica nebulosa (fuzzy logic [Faq 99b]) e os sistemas
procuram atravs da integrao de diferentes mtodos automticos imitar a inteligncia
especialistas baseados em conhecimentos e/ou regras (sistemas simblicos tradicionais). Este tipo de
humana. sistemas na realidade uma extenso dos sistemas simblicos, nos quais adicionamos a possibilidade de
se representar e manipular regras difusas (fuzzy rules). Com isso estes sistemas passam a trabalhar no
3. Sistemas Hbridos F.Osrio ENIA99 Pg.34 3. Sistemas Hbridos F.Osrio ENIA99 Pg.35
apenas com regras que manipulam proposies lgicas, baseadas em valores binrios do tipo 3.2.4. Sistemas Neuro-CBR:
verdadeiro/falso, passando a manipular tambm valores numricos e intervalos (fuzzy sets). A principal
vantagem deste tipo de sistemas hbridos a extenso da capacidade de representao e de manipulao A integrao de uma rede conexionista e de um sistema baseado em casos permite que se faa
de conhecimentos, que podem assim incluir a incerteza associada lgica nebulosa, gerando sistemas generalizaes sobre um conjunto de exemplos de um problema, mas sem no entanto deixar de preservar
mais robustos. certas particularidades (casos especficos) relacionados a este problema. Um exemplo deste tipo de tcnica
hbrida de aquisio de conhecimentos o sistema ProBis [Malek 95, 96, 96a]. Este sistema permite a
Um exemplo deste tipo de sistemas o Fuzzy-CLIPS [ITT 96], uma verso adaptada criada obteno de uma rede com prottipos (generalizao) dos casos aprendidos, e tambm permite que seja
partir da linguagem CLIPS C Language Integrated Production System [Giarratano 93]. Um outro criada uma coleo de casos atpicos (casos particulares) e de casos fronteira (localizado entre dois
sistema bastante conhecido que se utiliza deste tipo de tcnicas o FLIE [Vestli 93]. Podemos mesmo prottipos ou nas extremidades destes), que so armazenados em na memria de casos do sistema CBR.
questionar se estes sistemas so realmente hbridos, uma vez que em muitos casos acabam sendo apenas
uma extenso de um sistema especialista que incorpora ao seu mecanismo de inferncia o tratamento de Os sistemas neuro-CBR nos permitem ento buscar um compromisso intermedirio entre a
regras nebulosas. generalizao total e a especializao individual em relao a uma base de exemplos. Esta proposta vem
de encontro uma das principais idias de suporte do uso de sistemas hbridos: a complementaridade entre
3.2.2. Sistemas Simblico-Genticos: os mtodos que compem o sistema, e que permite que ambos ajudem a suprir as deficincias de um
mtodo em relao ao outro. Os sistemas neuro-CBR, de acordo com a sua forma de implementao
Estes sistemas so normalmente compostos de um mdulo gentico responsvel pela aquisio de podem vir a ser classificados dentro da categoria de sistemas neuro-simblicos, que descreveremos no
conhecimentos partir dos dados disponveis sobre um problema (exemplos de aprendizado), e de um item seguinte.
mdulo simblico responsvel pela implementao do mecanismo de inferncia simblica (inference
engine). O algoritmo gentico vai fazer uma busca evolutiva partir de uma base de regras, visando 3.2.5. Sistemas Neuro-Simblicos:
otimizar estas regras em relao a uma base de exemplos disponvel. A base final de regras obtidas ento
manipulada por um mdulo simblico do tipo convencional. Este tipo de sistemas hbridos sem dvida alguma o mais estudado entre todos os mtodos
hbridos que foram descritos neste captulo. Nesta categoria esto todos os sistemas hbridos que
Podemos citar como exemplos deste tipo de sistemas, as seguintes implementaes: DELVAUX combinam a representao de conhecimentos em uma forma simblica (representao de ato nvel,
[Eick 96], COGIN [Greene 93] e GABIL [DeJong 93]. Alguns autores utilizam o nome programao compreensvel para o ser humano) e a representao de conhecimentos em uma forma conexionista, ou
gentica para denominar o emprego de algoritmos genticos que geram automaticamente programas, como tambm conhecida, representao sub-simblica (representao de baixo nvel, de compreenso
representados por um conjunto de regras, ou mais usualmente, resultando em programas em LISP. extremamente difcil para um ser humano). Podemos subdividir esta categoria dos sistemas neuro-
simblicos nos seguintes subgrupos:
3.2.3. Sistemas Neuro-Genticos:
3.2.5.1. Sistemas Neuro-Fuzzy:
A maior parte dos sistemas neuro-genticos so concebidos a fim de contornar os problemas
relativos escolha de uma arquitetura de rede neural adequada para um determinado problema, bem como Os sistemas hbridos neuro-fuzzy so uma das categorias de sistemas hbridos que mais se
para estimar (otimizar a escolha) os parmetros de configurao do algoritmo de aprendizado utilizado desenvolveram, pois a lgica nebulosa e as redes conexionistas possuem muitos pontos em comum.
pela rede neural. As redes que se utilizam de algoritmos genticos para modificar a sua estrutura, so Podemos encontrar na literatura um nmero significativo de referncias sobre este tipo de sistemas
denominadas de redes evolutivas (evolutionary ANN) [Balakrishnan 95, Nolfi 94, Patel 97, Porto 97 ]. [Machado 92, Jang 96, Krzysztof 97, Kasabov 95, Gonzalez 96, Nauuck 95, Hayashi 94, Alche 93, Cox
92, Posey 92, Rocha 92]. Os sistemas neuro-fuzzy so divididos basicamente em trs grupos principais:
Dentro do conjunto de sistemas neuro-genticos que utilizam os algoritmos genticos para adaptar
os parmetros da rede, podemos destacar um sistema que utilizou esta tcnica para acelerar o aprendizado, - Sistemas que integram regras nebulosas dentro das redes neurais, onde o modelo neural do tipo
adaptando os parmetro de velocidade de aprendizado e da inrcia ou momentum ( e ) [Salomon 96]. RBF um dos mais usados neste tipo de integrao. Neste tipo de sistemas, um conjunto de
Existem inclusive sistemas que utilizam o algoritmo gentico como processo de otimizao dos pesos regras nebulosas do origem a uma rede neural (processo chamado de compilao de regras em
sinpticos, substituindo em parte o algoritmo de aprendizado na adaptao dos pesos da rede [Potter 92]. redes neurais), que pode vir a substituir o mecanismo de inferncia usado em conjunto com estas
regras nebulosas;
importante salientar que os algoritmos genticos so algoritmos de otimizao, que utilizam um
mtodo baseado na recombinao e seleo de populaes. Sendo assim, podemos considerar ento - Sistemas que fazem a extrao de regras nebulosas partir das redes neurais. Estes sistemas
populaes de redes neurais, populaes de parmetros de configurao de uma rede, ou mesmo permitem extrair automaticamente os conhecimentos adquiridos por uma rede neural,
populaes de peso. Este tipo de mtodo exige usualmente uma grande quantidade de processamento de representando estes conhecimentos sob a forma de regras da lgica difusa. Um exemplo deste
dados, visto que se considerarmos uma populao de redes neurais com diferentes topologias, isto tipo de mtodo de extrao implementado pelo sistema Fagnis [Cechin 98].
significa que teremos que testar (simular) cada elemento da populao, avaliar seu desempenho, e depois
modific-lo para ento recomear o processo de avaliao e seleo. Em termos computacionais, este tipo - Sistemas que implementam neurnios com processamento difuso (fuzzy-neurons). Cada
de processamento pode ser muito pesado, mas tende a ser mais eficiente (desde que a funo de mutao e neurnio da rede pode ser transformado em um elemento de processamento capaz de realizar
seleo sejam bem definidas) do que se este mesmos processo fosse realizado de maneira manual na base operaes da lgica difusa.
da tentativa e erro.
3. Sistemas Hbridos F.Osrio ENIA99 Pg.36 3. Sistemas Hbridos F.Osrio ENIA99 Pg.37
Podemos citar aqui uma lista de alguns dos principais sistemas neuro-fuzzy (no entanto esta lista - Sistema KBANN: Regras simblicas + RNA tipo MLP [Towell 91];
resta bastante simplista e incompleta) citados na literatura sobre este tipo de mtodos hbridos:
- Sistema INSS: KBS + RNA tipo MLP incremental [Osrio 98, Osrio 99a];
FuzzyARTMAP [Carpenter 92], FUN [Sulzberger 93], FuzzyCOPE [Kilgour 97, Kasabov 96], NEFCON-
NEFCLASS-NEFPROX [Nauck 97], ANFIS [Jang 93] e FUNEGEN [Halgamuge 94]. - Redes KBCNN: Regras simblicas + RNA tipo MLP [Fu 94];
- Sistema SCANDAL: KBS + RNA tipo MLP [Stckelberg 96];
3.2.5.2. Sistemas Neuro-IDT:
- Sistema RAPTURE: Regras + RNA tipo CFBP (probabilista) [Mahoney 96, 93];
Os sistemas hbridos que combinam redes neurais com as rvores de deciso (IDT) podem ser
- Sistema MACIE: Sistema especialista baseado em redes MLP [Galant 93, 88];
classificados em trs grupos principais:
- Sistema RUBICON: Codificao de base de regras em uma rede sem aprendizado [Samad 92];
- Sistemas onde a construo e inicializao das redes feita partir de uma rvore de deciso
- Sistema CONSYDERR: Processamento baseado em regras e similaridades [Sun 95a];
[Lee 95, Sahami 95]. A insero de uma rvore de deciso dentro de uma rede neural nos
permite simplificar o problema da escolha de uma topologia e pesos inicias para uma rede; - Sistema CORE: Interao entre dois mdulos KBS + RNA [Kasabov 90].
- Sistemas onde feita a extrao de conhecimentos da rede neural aps o aprendizado, Neste trabalho foi feita uma opo pelo estudo mais aprofundado sobre este tipo de sistemas
permitindo assim a obteno de uma rvore de deciso [Boz 97b, Craven 96 e 96b, Medsker 95]. hbridos, os sistemas hbridos neuro-simblicos, entre os diversos tipos de sistemas hbridos que
Este problema tenta resolver o problema da dificuldade de compreenso dos conhecimentos descrevemos anteriormente. O principal motivo desta escolha que optamos por uma forma de integrao
adquiridos por uma rede neural. A extrao de uma rvore de deciso nos permite que que privilegie a explorao da complementaridade entre os mtodos simblicos e conexionista, dadas as
obtenhamos explicaes mais concretas sobre a forma como chegamos a uma certa soluo para diferentes maneiras como estes representam e manipulam os conhecimentos adquiridos. Nos itens
um problema proposto. Toda rvore de deciso pode ser re-escrita sob a forma de um conjunto seguintes deste trabalho, vamos nos concentrar de uma maneira quase exclusiva sobre este tipo especfico
de regras, logo, ao representarmos o conhecimento da rede sob a forma de uma rvore de de integrao dos SHNS.
deciso, estaremos abrindo esta caixa preta que uma rede conexionista;
- Sistemas neuro-IDT realmente mistos, onde cada nodo da rvore de deciso substitudo por 3.3. Sistemas Hbridos Neuro-Simblicos
uma unidade de uma rede conexionista. Neste caso, ao invs de termos uma regra de seleo nos
nodos da rvore, teremos neurnios que so treinados para realizar uma funo equivalente a O uso dos sistemas hbridos, independentemente do tipo de opo feita, busca explorar as
esta seleo [Alche 93, Utgoff 88]. vantagens particulares de cada mtodo a fim de vencer as dificuldades e limitaes caractersticas
de cada um destes. Alem desta caracterstica, a nossa opo pelos sistemas hbridos neuro-
Este ltimo tipo de sistema neuro-IDT apresenta algumas caractersticas interessantes do ponto de
simblicos se deve tambm ao fato de buscarmos alcanar os seguintes objetivos descritos
vista da combinao dos dois mtodos de base que o compem, visto que a capacidade de escolha e
representao de uma deciso contida em um nodo de uma rvore um fator importante que pode limitar abaixo:
bastante a capacidade do sistema no tratamento de um problema mais complexo.
Possibilidade de explorar todos os conhecimentos disponveis sobre o problema ser
3.2.5.3. Sistemas Neuro-KBS:
tratado, ou seja, desejamos explorar tanto os conhecimentos tericos, quanto os
Os sistemas que integram as redes conexionistas aos sistemas baseados em conhecimentos (KBS) conhecimentos empricos (exemplos prticos). O sistema de aquisio automtica de
so usualmente chamados de Sistemas Hbridos Neuro-Simblicos (SHNS), ou tambm, de Sistemas conhecimentos deve ser capaz de tratar tanto bases de regras simblicas (conhecimen-
Hbridos Simboli-Conexionistas. Estes sistemas permitem a integrao de um sistema baseado em regras to de alto nvel, j assimilado e tratado) bem como bases de exemplos (conhecimento
simblicas (conhecimentos simblicos, em geral) juntamente com um sistema baseado em uma rede de baixo nvel, na sua forma simples pouco tratada);
conexionista (conhecimentos sub-simblicos), onde importante salientar a complementaridade existente
entre estas duas formas de representao e manipulao de conhecimentos.
Possibilidade de abordar problemas onde os conhecimentos disponveis no so nem
completos, nem perfeitamente exatos/corretos. Os conhecimentos disponveis sobre
um problema so, na maioria das vezes, conhecimentos imperfeitos que iro evoluir e
O nmero de publicaes recentes ligadas a este tema bastante impressionante, onde podemos serem aperfeioados (pois usualmente no contm verdades absolutas) no decorrer do
citar uma lista extensa, composta de obras importantes desta rea, com referncias sobre este tipo de passar do tempo;
sistemas hbridos elaborada por F. Osrio [Osorio 99].
Em relao as implementaes de sistemas do tipo SHNS, podemos citar alguns dos mais Possibilidade de tratar e explorar os dados simblicos de maneira conveniente, assim
conhecidos sistemas deste tipo: como os dados numricos. O uso de conhecimentos representados por informaes
que contm variveis qualitativas e bem como variveis quantitativas, no deve em
- Sistema SYNHESYS: KBS + RNA com prottipos [Giacometti 92, Orsier 95];
3. Sistemas Hbridos F.Osrio ENIA99 Pg.38 3. Sistemas Hbridos F.Osrio ENIA99 Pg.39
hiptese alguma prejudicar o desempenho do sistema, ou limit-lo de alguma maneira. por explicitao de regras por parte do sendo a principal justificativa de sua
Um sistema inteligente deve ser capaz de manipular dados vindos do mundo real especialista, e em conseqncia disto temos o existncia. As redes neurais no dependem
compostos por valores contnuos, usualmente inexatos e/ou aproximados; famoso problema dos sistemas especialistas tanto do especialista, e portando podem
que o gargalo da aquisio de automatizar o processo de aquisio de
conhecimentos. conhecimentos, ajudando a contornar o
Possibilidade de representar os conhecimentos de baixo nvel e de alto nvel. Os problema do gargalo da aquisio de
conhecimentos devem ser representados de tal maneira que possamos trabalhar tanto conhecimentos.
ao nvel simblico quanto ao nvel sub-simblico. Por exemplo: para tratarmos um - Os mtodos simblicos permitem que sejam - As redes so caixas pretas onde os
problema da robtica autnoma, devemos ser capazes de trabalhar tanto com


obtidas explicaes sobre as respostas conhecimentos esto codificados em um
informaes ao novo sensorial-motor (sub-simblico = baixo nvel), como ao nvel de fornecidas pelo sistema. Atravs do uso destes conjunto de pesos e de interconexes entre os
planificao de tarefas e trajetrias (simblico = alto-nvel). O formalismo de mtodos podemos justificar as respostas neurnios. Ns no temos acesso a uma forma
representao de conhecimentos deve ser robusto o bastante para que possamos fornecidas, baseando-se no mecanismo de mais compreensvel destes conhecimentos
codificar diferentes tipos de relaes e associaes entre as informaes disponveis. resoluo do problema empregado e nos que foram adquiridos pela rede. Portanto,
conhecimentos de alto nvel codificados na muito difcil para um ser humano que este
base de conhecimentos deste. Os possa interpretar diretamente os
Concluindo sobre estes requisitos, podemos afirmar que em particular os sistemas hbridos conhecimentos do sistema so codificados em conhecimentos de uma rede, e por
neuro-simblicos possuem caractersticas que vem de encontro com as propriedades que se uma linguagem prxima da linguagem natural, conseqncia fica difcil de justificar as suas
deseja obter em um sistema hbrido. A complementaridade entre estes dois mtodos permite e portando mais facilmente interpretveis. respostas.
suprir as deficincias encontradas nos mtodos tradicionais quando confrontados com problemas - Normalmente, os sistemas simblicos - As respostas do sistema se degradam lenta e
como os citados acima. A tabela que segue abaixo (baseada em dados extrados de Lallement 96,


pressupem o uso de conhecimentos tericos progressivamente em presena de uma entrada
Boz 95, Osorio 95, Giacometti 92 e Towell 91) reala justamente esta complementaridade entre que sejam ao mesmo tempo corretos e com distores. As redes so muito bem
os modelos simblico e o conexionista: completos sobre o problema tratado. A maior adaptadas ao tratamento de informaes
parte dos sistemas simblicos no adaptada aproximadas, incompletas ou expressas atravs
ao tratamento de informaes aproximadas, de variveis numricas contnuas.
I.A. Simblica I.A. Conexionista incompletas ou expressas atravs de variveis
- Insero de conhecimentos tericos sobre o - Normalmente no possvel que se aproveite numricas contnuas.


problema pode ser feita de uma maneira direta. diretamente os conhecimentos tericos - Os conhecimentos so representados por regras - Os conhecimentos so codificados nas redes e
Para isso, basta explicitar os conhecimentos


disponveis sobre um problema tratado.


e por estruturas de dados. Os conhecimentos representam relaes de baixo nvel
do expert e convert-los em um formalismo de necessrio que passemos por uma fase de so ditos de alto nvel. estabelecidas entre as entradas das redes.
representao de conhecimentos adequado ao aprendizado partir de exemplos, para que
sistema. possamos adquirir novos conhecimentos. - O desenvolvimento de um sistema especialista - A especificao da arquitetura e dos parmetros


uma tarefa rdua e longa. Os sistemas de aprendizado da rede podem se constituir em
- O processamento das informaes seqencial, - As redes neurais so compostas de uma srie de especialistas devem ser bem estudados e uma tarefa rdua e longa, onde nem sempre a


o tempo de resposta do sistema em uma unidade de processamento de informaes que estruturados. rede funciona bem.
consulta normalmente longo e cresce podem operar em paralelo, com um tempo de
consideravelmente com o aumento da base de resposta muito rpido (na fase de consulta aos
conhecimentos. conhecimentos adquiridos). Tabela 3.1. Propriedades do modelo simblico e do modelo conexionista
Esperamos que esta tabela tenha servido para demonstrar claramente a
- A insero de conhecimentos (e.g. regras) pode - O processo de aprendizado pode ser muito complementaridade entre os mdulos simblico e neural, e que ela tambm tenha servido para


ser feita muito fcil e rapidamente uma vez que longo pois a adaptao dos pesos da rede se d justificar este nosso grande interesse em nos voltarmos para os SHNS.
estas regras j foram tratadas pelos por um processo de otimizao dos pesos, que
especialistas e/ou engenheiros de so alterados pouco pouco de maneira
conhecimento. manter estvel o processo de otimizao. 3.3.1. Tipos de Integrao e Classificao dos SHNS
- O aprendizado no um processo fundamental - O aprendizado e a generalizao de Existem vrios tipos de classificao dos modos de integrao dos sistemas hbridos neuro-


de sustentao deste tipo de sistemas, que conhecimentos partir do tratamento de um simblicos [Lallement 96, Hilario 96, Orisier 95, Medsker 95]. Estas classificaes so mais ou menos
inclusive s incluram processos de aquisio conjunto de exemplos so os pontos fortes dos parecidas, onde cada autor tenta colocar em evidncia um determinado aspecto em relao aos demais. Em
automtica de conhecimentos mais mtodos conexionistas. O processo de vez de tentar criar uma classificao hierrquica e global dos SHNS, ns preferimos considerar um
recentemente. A aquisio normalmente feita aprendizado a base deste tipo de mtodo,
por explicitao de regras por parte do
3. Sistemas Hbridos F.Osrio ENIA99 Pg.40 3. Sistemas Hbridos F.Osrio ENIA99 Pg.41
aspecto de cada vez, fazendo com que um mesmo sistema possa ser classificado em vrias categorias ao
mesmo tempo. Os critrios de classificao so os seguintes: Sistema Hbrido Neuro-Simblico
Puramente Puramente
- Tipo de integrao: mtodo unificado, semi-hbrido ou hbrido; Mdulo

Conexionista
Conexionista Simblico

Simblico
Simblico
- Modo de integrao: processamento em cadeia, sub-processamento, meta-processamento, ou = =

Puro

Puro
+
Mdulo Mdulo
co-processamento; Mdulo
Conexionista Simblico
Conexionista
- Transferncia de conhecimentos: do mdulo simblico para o conexionista, ou do mdulo simblico extendido
conexionista para o simblico, ou nos dois sentidos;
Sistemas Hbridos
- Grau de acoplamento dos mdulos: acoplamento fraco, acoplamento mdio e acoplamento
forte;
Mtodo Mtodo Mtodo
- Tipo de representao dos conhecimentos: localista, distribuda ou combinada; Unificado Hbrido Unificado
- Tipo e poder de codificao dos conhecimentos: proposies lgicas de ordem 0, proposies de
ordem 0+ (incluem a manipulao de intervalos de valores), predicados, regras nebulosas, regras Hbrido Hbrido Hbrido
probabilistas, rvores de deciso, redes tipo MLP (Perceptron com mltiplas camadas), redes no sentido no sentido no sentido
tipo prottipos, etc;
amplo restrito amplo
- Tipo de mecanismo de inferncia e de resoluo do problema: forward chain, backward
chain, propagao de ativaes neurais, por analogia, por unificao, etc;
- Modo de aquisio de conhecimentos: aprendizado contnuo, aprendizado no contnuo,
aprendizado supervisionado, aprendizado no supervisionado.
Figura 3.1. Tipos de integrao Neuro-Simblica
Uma boa parte das classificaes apresentadas aqui tem a sua origem em trabalhos desenvolvidos
dentro do projeto Europeu MIX [Hilario 93, 94, 96], destacando-se o trabalho dos seguintes 2. Mtodo Semi-Hbrido: Estes so os mtodos onde encontramos os trabalhos relativos a
pesquisadores: B. Orsier, Y. Lallement e M. Hilrio. Ns vamos detalhar aqui os trs primeiros grupos, tradues de conhecimentos de um tipo de modelo para outro, sem necessariamente ter uma
onde o leitor poder encontrar mais informaes sobre os demais grupos nas obras referenciadas acima, ou co-existncia e cooperao de ambos na soluo dos problemas. Neste grupo aparece a
em [Osorio 98]. compilao de bases de regras dentro de redes neurais (insero de conhecimentos) e a
explicitao de regras partir de redes neurais (extrao de conhecimentos). Justamente
devido ao fato de serem apenas semi-hbridos, muitos destes sistemas possuem implementado
apenas um tipo de transferncia de conhecimentos, ou a compilao de regras, ou ento a
3.3.1.1. Tipos de Integrao: extrao de regras. Para ns, vamos considerar justamente que partir do momento que o
sistema oferece a possibilidade de inserir e tambm extrair regras (transferncia bi-direcional)
Os tipos de integrao dos sistemas hbridos neuro-simblicos (ver a Figura 3.1) so os seguintes: este sistema passar a ser considerado como um mtodo hbrido completo (hibridizao no
sentido amplo). Ns vamos retomar esta discusso mais abaixo, no que se refere as
1. Mtodo Unificado: Este tipo de mtodo conhecido como um mtodo puro ou como uma transferncias de conhecimentos.
hibridizao no sentido amplo. A idia de base deste tipo de integrao a de que podemos
integrar todas as funcionalidades do nvel simblico e conexionista em um nico mdulo, seja 3. Mtodo Hbrido: Este tipo de mtodo baseado em uma verdadeira integrao de no mnimo
este unicamente conexionista ou unicamente simblico. Este mtodo unificado se prope dois mdulos, um mdulo simblico e um mdulo conexionista. Entretanto nada nos impede
integrar as propriedades dos sistemas simblicos + conexionistas em uma nica soluo de realizar uma integrao de mltiplos mdulos simblicos e conexionistas. Em resumo,
unificada, atravs da ampliao/extenso das capacidades de um dos dois mdulos (aquele neste tipo de mtodo iremos encontrar um mecanismo de inferncia simblica (ou outro
que for escolhido para unificar tudo). Os sistemas puramente conexionistas tentam mecanismo de tratamento simblico da informao) que ir trabalhar em cooperao com um
implementar atravs de uma rede neural os processos que seriam realizados por um mtodo mecanismo de tratamento conexionista das informaes. Este tipo de mtodo tambm
simblico, ou seja, a rede neural usada para implementar mecanismos de inferncia chamado de hibridizao no sentido restrito.
simblica, de unificao, etc. Estes sistemas puramente conexionistas tambm so chamados
de CSP Connectionist Symbolic Processing. Os sistemas puramente simblicos tentam
implementar extenses ao processo de inferncia simblica de maneira a permitir a
manipulao de incertezas, de valores contnuos e aproximados, de probabilidades, etc.
3. Sistemas Hbridos F.Osrio ENIA99 Pg.42 3. Sistemas Hbridos F.Osrio ENIA99 Pg.43
maneira de fazer cooperar dois mdulos pode ser estabelecida se um mdulo se concentra em
X um aspecto particular do problema em questo, enquanto que o outro mdulo se concentra nos
X
outros aspectos distintos deste mesmo problema. Uma outra maneira de cooperar pode ser
X Y Y atravs de um comportamento concorrente, quando os dois mdulos tratam o mesmo
problema, mas ao final as duas (ou mais) solues propostas so avaliadas por um outro
mdulo a fim de decidir qual a melhor soluo. No modo de co-processamento as trocas de
conhecimentos entre os mdulos tambm pode ser importante para que ambos possam
Ambiente / Usurio Ambiente / Usurio cooperar entre si, alm tambm de que normalmente ambos devem tambm poder interagir
(a) Processamento em Srie (b) Sub-Processamento com o ambiente externo (usurio/expert).
Este tipo de classificao por modos de integrao pressupe a existncia de ao menos dois mdulos
X
distintos, um ou mais mdulos simblicos (MS) e um ou mais mdulos conexionistas (MC). A figura 3.2
MC MS apresenta um esquema a respeito da caracterizao dos SHNS em relao ao seu modo de integrao.
Y
Ambiente / Usurio Ambiente / Usurio 3.3.1.3. Transferncia de Conhecimentos:
(c) Meta-Processamento (d) Co-Processamento
As transferncias de conhecimentos entre os mdulos simblico e conexionista (ver item sobre
MC : Mdulo Conexionista - MS: Mdulo Simblico - X,Y: MC ou MS - X diferente de Y
3.3.1.1) podem ser classificadas segundo o sentido (de qual mdulo, para qual mdulo) das trocas de
conhecimentos realizadas:
Figura 3.2. Modos de integrao Neuro-Simblica
1. Do simblico para o conexionista (S C): Os conhecimentos so transferidos do mdulo


3.3.1.2. Modos de Integrao: simblico e integrados no mdulo conexionista [Boz 95, 97], de modo a permitir a aquisio
de conhecimentos por parte do mdulo conexionista sem ter que obrigatoriamente recorrer ao
Os modos de integrao podem ser classificados nos seguintes grupos (ver Figura 3.2): aprendizado de uma base de exemplos. Na nossa opinio, os mtodos de compilao de regras
diretamente sobre a forma de pesos de uma rede neural so os mais interessantes. Existem
1. Processamento em Srie: O processamento feito seqencialmente por um mdulo e depois outras formas de se trocar conhecimentos entre o mdulo simblico e o conexionista, uma
pelo outro (chainprocessing). Por exemplo, um mdulo conexionista pode realizar um pr- destas formas alternativas a gerao automtica de exemplos partir de uma base de regras.
processamento de dados destinados um mdulo simblico, ou vice-versa. Este modo de Este tipo de procedimento permite que se represente os conhecimentos simblicos de alto
integrao constitudo por interaes do tipo pr-processamento ou ps-processamento, nvel atravs de uma coleo de exemplos que esto de acordo com os conhecimentos
onde os dois sub-sistemas so ligados por uma simples relao de entrada e sada. representados no sistema simblico. Um dos inconvenientes desta ltima tcnica a incerteza
de que o mdulo conexionista v conseguir adquirir integralmente todos os conhecimentos
2. Sub-Processamento: O processamento principal realizado por um dos dois mdulos, que que esto sendo repassados atravs dos exemplos, pois como a rede depende do processo de
utiliza o outro mdulo apenas como um prestador de servios para resolver problemas aprendizado, no h uma garantia que este processo alcance um sucesso 100% de acordo com
especficos. Por exemplo, um mdulo principal simblico pode disparar a execuo de um os exemplos.
mdulo neural para tratar apenas uma etapa especfica do processamento de um problema.
Neste tipo de interaes, um dos dois mdulos completamente subordinado ao outro, sendo 2. Do conexionista para o simblico (S C): Os conhecimentos adquiridos atravs de um
que o processo de controle decide quando e como ir utilizar os resultados obtidos pelo sub- processo de aprendizado de uma rede neural, devem ser explicitados sob a forma de
processo por ele executado. conhecimentos simblicos relativos ao problema que est sendo tratado. A extrao de regras
partir de uma rede neural [Andrews 95, 96] permitir que se utilize estas regras (os
3. Meta-Processamento: Um dos dois mdulo possui o papel de tratar os problemas em questo, conhecimentos adquiridos pelo mdulo conexionista) junto ao mdulo simblico. As regras
enquanto que o outro mdulo assume um papel de nvel superior (meta-processamento), obtidas partir de uma rede podem ser classificadas de acordo com o tipo de representao
podendo ser responsvel por intervir em tarefas de controle, observao, gerncia ou mesmo simblica empregado: regras de produo, regras nebulosas, regras probabilistas, etc. O
melhoria da performance do outro mdulo. Um mdulo simblico poderia, por exemplo, processo de extrao de regras pode ser executado considerando-se que podemos tentar extrair
controlar e otimizar o funcionamento de uma rede neural. todo o conhecimento (o que muito difcil), ou ento, podemos tentar extrair uma parte dos
conhecimentos adquiridos pela rede (o que mais usado extrao dos conhecimentos mais
4. Co-Processamento: Os dois mdulos so parceiros iguais no processo de tratamento de um importantes).
problema. Neste modo de integrao, a palavra-chave cooperao, onde podemos ter
diferentes maneiras de fazer um mdulo cooperar com o outro, sem no entanto ser 3. Transferncias bilaterais (S C): Os conhecimentos podem ser transferidos nos dois sentidos
estabelecida uma relao maior de importncia ou dependncia entre os dois mdulos. Uma entre os mdulos simblico e neural. Os sistemas hbridos com transferncias de
3. Sistemas Hbridos F.Osrio ENIA99 Pg.44 3. Sistemas Hbridos F.Osrio ENIA99 Pg.45
conhecimentos bilaterais incluem normalmente mecanismos tanto de compilao de regras Vamos descrever aqui de maneira bastante sucinta trs sistemas hbridos neuro-simblicos que
dentro de redes neurais, como de extrao de conhecimentos destas. Neste caso, podemos ter servem para nos dar uma idia geral e bastante representativa de como so e como funcionam os SHNS.
um mdulo simblico e um mdulo conexionista que operam realmente em co- Os sistemas que escolhemos so: SYNHESYS [Giacometti 92], KBANN [Towell 91] e INSS [Osorio 98].
processamento, enquanto que nos demais tipos de transferncias, usualmente um dos dois Existem outros sistemas to ou talvez mais importantes que estes (e.g. KBCNN [Fu 94], RAPTURE
mdulos ser o principal e o outro atuar apenas como auxiliar. Sempre bom lembrar a [Mahoney 96], MACIE [Galant 93], CONSYDERR [Sun 95], entre outros), mas ns optamos por discutir
importncia que tem o tipo de regras e conhecimentos que sero transferidas de um mdulo ao apenas sobre estes trs, dadas as caractersticas que eles possuem, que acreditamos so importantes para
outro, pois isto pode ser um fator de limitao (ou melhoria) importante para o sistema. que o leitor possa fazer uma anlise final do que foi apresentado neste trabalho.
Concluindo, um sistema com um acoplamento forte e do tipo que usa co-processamento deve
obrigatoriamente permitir transferncias bilaterais de conhecimentos, onde ambos os mdulos
devem ser capazes de manipular um tipo compatvel de representao de conhecimentos 3.4.1. SYNHESYS Symbolic and Neural Hybrid Expert System Shell
usados na transferncia.
O sistema SYNHESYS foi desenvolvido no Laboratoire LEIBNIZ2 em Grenoble-Frana por
Arnaud Giacometti [Giacometti 92]. Este sistema possui um tipo de integrao hbrida no sentido estrito,
Aquisio de Conhecimentos ou seja, ele realmente composto por dois mdulos: um simblico e outro conexionista. Estes dois
mdulos operam de maneira cooperativa, permitindo transferncias de conhecimentos entre os dois, nos
Sistema Hbrido Neuro-Simblico
Neuro-Simblico dois sentidos. Portanto este sistema classificado como um sistema hbrido com transferncia de
conhecimentos bilaterais e modo de integrao por co-processamento. A figura 3.4 apresenta um esquema
Conhecimentos Tericos geral da estrutura de funcionamento do sistema SYNHESYS.
Mdulo MS
"Regras"
Simblico Situao
Aquisio de Conhecimentos
Expert
Transferncia de
Conhecimentos
Mdulo Transferncia Mdulo
Mdulo MC Simblico de Conhecimentos Conexionista
"Exemplos"
Conexionista
Conhecimentos Empricos Gestionrio
Deciso Deciso
de interaes
Figura 3.3 Aquisio e Transferncia de Conhecimentos nos SHNS
Expert
A capacidade de fazer transferncias de conhecimentos entre os mdulos de um sistema hbrido
uma das propriedades mais interessantes dos SHNS, pois atravs deste tipo de mecanismo que vamos Figura 3.4 Arquitetura do Sistema SYNHESYS
poder fazer interagir e cooperar melhor os mdulos simblicos e conexionistas. Muitas vezes, o processo
de insero de conhecimentos iniciais em uma rede neural vai tambm contribuir para que o processo de O mdulo simblico implementa um mecanismo de inferncia baseada em regras de produo, com
aprendizado seja otimizado (mais rpido e com resultados melhores). A extrao de regras partir das possibilidade de inferncia usando forward chaining ou backward chaining. As regras usadas junto ao
redes neurais vai nos permitir explicitar os conhecimentos adquiridos por esta, e sendo assim poderemos mdulo simblico so regras do seguinte tipo:
resolver em parte o problema da caixa preta que so as redes. As regras extradas vo permitir tambm
que se compreenda melhor as repostas dadas pelas redes neurais. O mdulo simblico tambm poder
aproveitar as regras obtidas partir de uma rede neural, para aumentar a sua base de conhecimentos, onde IF <atributo> IN [<valor_inicial_intervalo>,<valor_final_intervalo>] THEN <concluso>/<aco>
o processo de extrao de regras acaba constituindo-se como mais uma fonte de conhecimentos para o IF <atributo>/<concluso> AND/OR <atributo>/<concluso> THEN <concluso>/<aco>
mdulo simblico. Assim esta tcnica pode contribuir para minimizar um pouco o problema do gargalo de IF NOT <atributo>/<concluso> THEN <concluso>/<ao>
aquisio de conhecimentos dos sistemas especialistas.
O mdulo conexionista trabalha com um modelo de rede neural baseado em prottipos de
3.4. SHNS: Estudo de Casos representao localista de conhecimentos (rede do tipo ARN2 desenvolvida por Giacometti e similar em
2
Laboratoire LEIBNIZ Web : http://www-leibniz.imag.fr/ (Equipe Reseaux dAutomates)
3. Sistemas Hbridos F.Osrio ENIA99 Pg.46 3. Sistemas Hbridos F.Osrio ENIA99 Pg.47
certos aspectos ao modelo ART). Os prottipos criados so hiper-retngulos, o que permite que se caractersticas e potenciais, foram encontrados alguns problemas e limitaes no que se refere ao
codifique as regras descritas acima de maneira bastante simples e direta sob a forma de prottipos da rede. tratamento de problemas onde se tenha o uso de dados do tipo qualitativo [Orsier 94, 95]. Estes problemas
A extrao de regras tambm feita diretamente partir dos hiper-retngulos que representam os so relativos as mtricas para o clculo de similaridade entre exemplos e prottipos, que funcionam
conhecimentos adquiridos pela rede. Uma outra caracterstica importante deste modelo de rede o fato melhor com dados quantitativos do que com dados qualitativos. Apesar disto, acreditamos que o sistema
que podemos ter um aprendizado contnuo (incremental), pois possvel adicionar novos prottipos rede SYNHESYS continua sendo um dos melhores exemplos de integrao neuro-simblica existentes.
sem maiores problemas.
Y Entradas: 3.4.2. KBANN Knowledge Based Artificial Neural Networks
20 X = [0..30]
Y = [0..20] O sistema KBANN foi desenvolvido no UWM-MLRG3 da Universidade de Wisconsin-Madison
18 por Geoffrey Towell e Jude Shavlik [Towell 91]. Este sistema possui apenas um mdulo conexionista,
Sadas (Aes):
16 Ao2 que como diz o seu nome, uma rede neural baseada em conhecimentos. O sistema KBANN possui uma
Ao1 , Ao2 , Ao3
Ao3 Ao3 rede neural capaz de adquirir conhecimentos simblicos expressos atravs de regras, realizar o
14 Regras: aprendizado neural e depois extrair regras que representam o conhecimento que foi refinado pelo
R1: Se Y in [0..10] ento Y_Fraco aprendizado de exemplos. A proposta original do sistema KBANN no previa outros modos de interao
12 R2: Se Y in [10..20] ento Y_Forte com mdulos simblicos externos rede, que fossem adicionais troca de conhecimentos realizada
R3: Se X in [0..10] ento X_Fraco atravs da insero e extrao de regras partir destas redes neurais. A figura 3.6 mostra um esquema da
10 R4: Se X in [10..20] ento X_Mdio
forma de funcionamento do sistema KBANN.
8 R5: Se X in [20..30] ento X_Forte
R6: Se Y_Fraco ento Ao1
6 R7: Se Y_Forte e X_Fraco
Ao1 ento Ao3 Conhecimentos Rede Rede
Neural aps Conhecimentos
4 R8: Se Y_Forte e X_Forte
simblicos Neural simblicos
ento Ao3 inicial o aprendizado
iniciais refinados
2 R9: Se Y in [14..20] e X_Mdio
ento Ao2
3 6 9 12 15 18 21 24 27 30 X Extrao
Compilao Aprendizado
Figura 3.5 Prottipos do Tipo Hiper-Retngulos e as Regras Correspondentes de regras de regras partir
Conexionista de uma rede
dentro de uma rede
O sistema funciona de maneira cooperativa, ou seja, os conhecimentos podem ser adquiridos tanto
pelo mdulo simblico (explicitao de regras obtidas junto ao especialista), como tambm pelo mdulo Figura 3.6 - Arquitetura do Sistema KBANN
conexionista atravs do aprendizado partir de exemplos (criao dos prottipos atravs de um algoritmo
de aprendizado neural). Estes conhecimentos podem ser ento compartilhados entre os dois mdulos, visto
que podemos transferir os conhecimentos adquiridos pelo mdulo simblico para o mdulo conexionista,
Sendo assim, as transferncias de conhecimentos entre os dois podem ser realizadas nos dois
e tambm no sentido inverso, transferir os conhecimentos adquiridos pelo mdulo conexionista para o
sentidos, apesar de apenas o mdulo conexionista ter sido definido. Portanto este sistema pode ser
mdulo simblico.
classificado como um sistema hbrido com transferncia de conhecimentos bilaterais e modo de integrao
Ambos os mdulos podem compartilhar exatamente os mesmos conhecimentos, ou trabalharem de por co-processamento,. Ele tambm pode ser considerado como um sistema puramente conexionista
forma independente. Ao ser realizada uma consulta ao sistema, cada um dos dois mdulos vai gerar, (hbrido no sentido amplo), pois prev que todo o tratamento de informaes centralizado e realizado
independentemente um do outro, uma resposta (deciso). Se ambos os mdulos estiverem de acordo em pelo mdulo conexionista. Os conhecimentos simblicos, obtidos usualmente partir da explicitao de
relao a resposta fornecida, esta repassada para o usurio, e caso no haja um acordo, ento disparado regras realizada por um especialista, so integrados na rede neural, sem termos a necessidade de utilizar
um processo de reviso da base de conhecimentos de ambos os mdulos. Inicialmente procura-se um mdulo simblico de processamento. A extrao de regras tem como objetivo a explicitao dos
identificar a regra/prottipo que est em conflito, e fazendo uso de um processo de interao com o conhecimentos adquiridos pela rede, permitindo que se compreenda como a rede vai gerar suas respostas.
usurio, de transferncias de conhecimentos e de identificao de erros, tenta-se desta forma melhorar a Estas regras at poderiam ser usadas por um mdulo simblico, mas no entanto esta no a principal
base de conhecimentos daquele mdulo que apresentou problemas (ou mesmo melhorar ambos os funo das regras simblicas neste sistema.
mdulos).
Os princpios que regem o funcionamento deste sistema so um exemplo extremamente significativo
de como pode ser explorada esta integrao neuro-simblica em um sistema hbrido. O sistema 3
UWM-MLRG University of Winsconsin-Madison / Machine Learning Research Group.
SYNHESYS foi usado com sucesso em diversas aplicaes, mas no entanto, apesar de suas excelentes
Web: http://www.cs.wisc.edu/~shavlik/uwml.html
3. Sistemas Hbridos F.Osrio ENIA99 Pg.48 3. Sistemas Hbridos F.Osrio ENIA99 Pg.49
O sistema KBANN utiliza redes neurais do tipo MLP (Multi-Layer Perceptron) com aprendizado a forma de regras simblicas (conhecimentos tericos) ou sob a forma de exemplos (conhecimentos
atravs do uso do algoritmo do Back-Propagation com mnimas modificaes. Este modelo de rede neural empricos).
muito usado atualmente, mas possui algumas limitaes bem conhecidas em relao velocidade do
aprendizado e a otimizao dos pesos da rede (discutido no captulo anterior, seo2.2). Os aspectos mais Uma vez que a rede passou por esta etapa de adaptao, podemos ento realizar a extrao de
interessantes do modelo proposto por Towell dizem respeito as tcnicas de insero e extrao de regras, regras simblicas partir de uma anlise dos pesos da rede. O processo de extrao de regras vai nos
usando como elemento de base redes do tipo MLP. permitir a obteno de regras do mesmo tipo daquelas que foram inseridas na rede, mas que usualmente
devem refletir as melhorias feitas durante o processo de aprendizado de uma base de exemplos. O
processo de extrao de regras necessita de um grande processamento de informaes, tendo um alto custo
Operador OU - Disjuno:
Operador E - Conjuno: computacional, mas por outro lado, trazendo grandes vantagens devido a traduo do conhecimento neural
X :- A. X :- B. sob uma forma de representao bem mais compreensvel ao ser humano. Towell apresenta basicamente
X :- A, B, Not(C), Not(D).
X :- C. X :- D. dois mtodos de extrao de regras partir das redes KBANN, o SubSet e o NofM [Towell 91, 93], onde
X X representamos o primeiro deles de maneira esquemtica na figura 3.8.
W>0 W>0
P =2 Algoritmo SUBSET
Bias: Bias:
(-P+0.5)*W -0.5*W
X X := A, B, C.
W W -W W W W X := A, B, not(D).
-W W Bias: X := A, C, not(D).
= -5.0
X := B, C, not(D).
A B C D A B C D +3.0
+3.0 +3.0 -3.0 IF (A and B and C) or
(A and B and Not(D)) or
(A and C and Not(D)) or
Figura 3.7 Compilao de Regras: Insero de Conhecimentos Simblicos em Redes MLP
(B and C and Not(D))
A compilao de regras [Towell 91, 94] permite que se obtenha uma rede neural que vai dar A B C D THEN X
respostas exatamente iguais aquelas que ns poderamos obter caso fosse utilizado um mecanismo de
inferncia simblica com este mesmo conjunto de regras. Desta maneira vamos poder criar a estrutura
bsica e especificar os pesos iniciais da rede de forma automtica, dotando assim a rede de conhecimentos
Figura 3.8 Extrao de Regras partir de uma Rede KBANN
iniciais, sem no entanto termos que recorrer aos procedimentos tradicionais de aprendizado de exemplos
por adaptao dos pesos da rede. A figura 3.7 mostra um exemplo de compilao de regras em uma rede
As redes KBANN possuem uma caracterstica interessante que a possibilidade de fechar o ciclo
neural.
de refinamento de regras, com a re-insero da regras extradas dentro da rede neural, o que permitiria um
processamento evolutivo dos conhecimentos sobre o problema. Entretanto, este tipo de procedimento no
As regras inseridas nas redes do tipo KBANN so basicamente regras de produo que manipulam
foi estudado em profundidade e os testes e estudos sobre este tema que foram realizados so muito
valores binrios relativos aos atributos de entrada (antecedentes) e gerando tambm concluses
superficiais. Por outro lado, as redes KBANN possuem algumas importante limitaes relativas ao tipo de
(conseqentes) binrias do tipo verdadeiro/falso. As regras usadas so portanto do seguinte tipo:
algoritmos de aprendizado, compilao e extrao de regras que estas utilizam [Osorio 98, 98a, 99]. Outro
IF <antecedente> THEN <conseqente> ponto importante a ser considerado, referente ao tipo de regras manipuladas pelas redes KBANN, que
no so adequadas ao tratamento de dados quantitativos, ficando muito restritas aos dados qualitativos. E
IF <antecedente> AND / OR <antecedente> THEN <conseqente>
finalmente, bom ressaltar que as redes KBANN no so redes do tipo incremental.
IF NOT <antecedente> THEN <conseqente>
Este conhecimento inicial que foi introduzido na rede passa por uma fase de refinamento, que 3.4.3. INSS Incremental Neuro-Symbolic System
realizada atravs da utilizao do algoritmo de aprendizado neural. A rede KBANN passa por um
processo de adaptao dos pesos da rede atravs do uso de uma base de exemplos de aprendizado, da O sistema INSS foi desenvolvido no Laboratoire LEIBNIZ4 em Grenoble-Frana por Fernando
mesma forma como feito com outros modelos de redes neurais, mas a principal diferena que a rede Osrio e Bernad Amy [Osorio 98, 99a]. Este sistema possui um tipo de integrao hbrida no sentido
utilizada foi inicializada com a insero de conhecimentos a priori disponveis sobre o problema. Esta estrito, ou seja, ele pressupe a utilizao de dois mdulos: um simblico e outro conexionista. Estes dois
insero de conhecimentos permite uma otimizao do processo de aprendizado, bem como o
aproveitamento dos diferentes conhecimentos disponveis sobre o problema, sejam eles representados sob 4
Laboratoire LEIBNIZ Web : http://www-leibniz.imag.fr/ (Equipe Reseaux dAutomates)
3. Sistemas Hbridos F.Osrio ENIA99 Pg.50 3. Sistemas Hbridos F.Osrio ENIA99 Pg.51
mdulos operam de maneira cooperativa, permitindo transferncias de conhecimentos entre os dois, nos O mdulo conexionista possui muitas semelhanas ao modelo adotado pelas redes KBANN, pois
dois sentidos. Portanto este sistema classificado como um sistema hbrido com transferncia de adotamos um modelo de rede do tipo MLP (Multi-Layer Perceptron), mas no lugar do algoritmo de
conhecimentos bilaterais e modo de integrao por co-processamento. A figura 3.4 apresenta um esquema aprendizado do tipo Back-Propagation das redes KBANN, foi utilizado o algoritmo Cascade-Correlation.
geral da estrutura de funcionamento do sistema INSS. Este algoritmo confere ao sistema INSS alguma de suas principais caractersticas:
Conhecimentos Tericos Conhecimentos Empricos - O algoritmo de aprendizado tem um timo desempenho (velocidade, capacidade de
aprendizado);
- Este algoritmo permite a insero de novos neurnios na rede durante o aprendizado, o que
Aquisio de Conhecimentos permite um aprendizado incremental (ao nvel dos dados e da estrutura da rede);
(Expert / Engenheiro de Conhecimentos) - Permite a insero de conhecimentos a priori na rede que permanecem inalterados, onde as
novas unidades adicionadas na rede que tero por funo melhorar ou corrigir o
comportamento desta;
Mdulo de - Como os conhecimentos previamente adquiridos no so modificados, e apenas inserimos novos
Regras Validao
Exemplos
conhecimentos complementares a estes, ao realizar a extrao de regras, podemos nos
concentrar apenas nos novos conhecimentos adquiridos. No necessrio re-extrair todas as
regras que j haviam sido inseridas anteriormente na rede.
Insero
MS de Regras
MC O mdulo simblico do sistema INSS utiliza o motor de inferncia CLIPS como base para o
Mdulo Mdulo processamento simblico. Este sistema vem sendo substitudo pelo conceito de que a prpria rede neural
Simblico Conexionista pode implementar um motor de inferncia uma vez que as regras simblica foram inseridas nela. O
Extrao [RNA] mecanismo de inferncia permite apenas o forward chaining, mas existe a possibilidade de expandir
de Regras este tipo de inferncia, permitindo tambm o backward chaining.
O sistema INSS est organizado em mdulos que realizam as diferentes tarefas necessrias para o
bom funcionamento do sistema. Os mdulos que compem este sistema so: CLIPS (Mdulo Simblico),
Transfrencia de Conhecimentos
NeuSim (Mdulo Neural Simulador / Aprendizado), NeuComp (Compilador de regras simblicas em
INSS - Incremental Neuro-
Neuro-Symbolic System redes), Extract (Extrao de regras partir das redes neurais) e Valid (Mdulo de verificao e validao
dos conhecimentos do sistemas, representados pelos exemplos e regras). A figura 3.10 mostra um
Figura 3.9 Esquema de Integrao Neuro-Simblica do Sistema INSS diagrama esquemtico dos componentes do sistema.
O desenvolvimento do sistema INSS foi bastante influenciado pelos dois outros sistemas que Regras Simblicas M
descrevemos anteriormente, o sistema SYNHESYS e o sistema KBANN. O modo de operar bastante
similar ao sistema SYNHESYS, ou seja, temos dois mdulos que podem trocar conhecimentos entre si, Conversor D
Regras > Rede U
atravs da insero de regras simblicas no mdulo conexionista e atravs da extrao de regras deste Clips Regras
L
mesmo mdulo. Alm disto, foi implementada uma aquisio incremental de conhecimentos que permite NeuComp Refinadas
O
MDULO
adicionar novos conhecimentos na rede (aprendizado contnuo), alterar a estrutura da rede neural SIMBLICO
adicionando novos neurnios (estrutura incremental), extrair apenas os novos conhecimentos adquiridos D
(extrao incremental) e validar os resultados e conhecimentos. O tipo de regras usadas junto ao sistema Rede E
Inicial Conversor
INSS tambm mais prximo s regras simblicas usadas pelo sistema SYNHESYS, onde podemos Rede > Regras V
inserir regras nas redes que contm operadores como: MDULO A
CONEXIONISTA Extract L
I
Greater_Than (Entrada, Valor_Constante); Rede D
NeuSim
Greater_Than (Entrada1, Entrada2) Refinada A
Less_Than (Entrada, Valor_Constante)
Less_Than (Entrada1, Entrada2)
Exemplos O
In_Range (Entrada, Valor_Constante1, Valor_Constante2)
Equal (Entrada, Valor_Constante).
Figura 3.10 Mdulos do Sistema INSS
3. Sistemas Hbridos F.Osrio ENIA99 Pg.52 3. Sistemas Hbridos F.Osrio ENIA99 Pg.53
O mdulo compilador de regras NeuComp utiliza o mesmo algoritmo de insero de regras usado (conhecimentos anteriores versus conhecimentos novos) que podem surgir novas melhorias dos
nas redes KBANN, mas porm este possui uma extenso prpria, que foi desenvolvida especificamente conhecimentos. Quando constatado que uma certa teoria entra em conflito com a prtica,
para este sistema a fim de lhe permitir o tratamento das regras tipo Greater_Than, Less_Than, In_Range e justamente baseado neste conflito que um pesquisador ir buscar uma nova reformulao desta.
Equal. O mdulo de extrao de regras Extract baseado tambm nos algoritmos usados nas redes As teorias devem estar sendo constantemente questionadas e revisadas perante os fatos e
KBANN, o SubSet e o NofM. Esta uma das principais limitaes do sistema INSS, pois no devido ao experincias do nosso dia--dia. Os conhecimentos esto sempre evoluindo.
uso destes algoritmo no podemos extrair regras com o mesmo poder de representao de conhecimentos
das regras que podemos inserir no sistema. Estudos vem sendo desenvolvidos no sentido de resolver esta Concluindo, os sistemas hbridos so uma tendncia atual nos estudos referentes a Inteligncia
deficincia. Artificial, sejam eles denominados simplesmente Sistemas Hbridos Inteligentes, ou de Sistemas Multi-
Agentes, ou ainda de Inteligncia Artificial Distribuda. Acreditamos que a base de tais sistemas, que deve
O sistema INSS foi aplicado em diferentes tipos de problemas, com resultados muito satisfatrios estar sempre no centro das pesquisas realizadas nesta rea, relativa a alguns pontos que abordamos de
[Osorio 98]. Os problemas tratados foram: Monks Problem (Benchmark de algoritmos de aprendizado de forma insistente neste trabalho: a capacidade de representao de conhecimentos (preferencialmente
mquinas), Diagnstico mdico (Identificao da causa de comas txicos Projeto Europeu Esprit MIX), mltiplos), a realizao de trocas de conhecimentos entre componentes do sistema (onde a representao
Robtica Autnoma (Comportamento Sensorial-Motor Evitar obstculos, acompanhar uma parede) e volta a ser um item central), e a evoluo dos conhecimentos (aquisio e refinamento progressivos).
Modelagem Cognitiva usando o problema da balana (Balance Scale Problem).
HYBRID MACHINE LEARNING TOOLS
3.5. Consideraes Finais
Este trabalho teve por objetivo mostrar a importncia da utilizao de sistemas hbridos quando se
deseja implementar um sistema inteligente. Vamos resumir aqui os pontos principais que gostaramos que
fossem salientados em relao a este tipo de sistemas.
Para que um sistema possa ser dotado de propriedades que permitam que ele possa ser classificado
como inteligente, existem alguns itens importantes que devem ser levados em considerao:
- Aquisio de conhecimentos: O processo de aquisio de conhecimentos vital para um sistema
inteligente. A aquisio de conhecimentos deve permitir que se use todos os conhecimentos
disponveis, sejam eles conhecimentos bsicos e empricos (casos prticos e exemplos), sejam
eles conhecimentos tericos j tratados e estruturados (regras e outros conhecimentos
simblicos), ou mesmo conhecimentos que possam vir de outros agentes.
- Representao de conhecimentos: O poder de representao e manipulao de conhecimentos
ir definir as principais limitaes de um sistema. Uma das mais poderosas ferramentas de BIBLIOGRAFIA
representao de conhecimentos a linguagem natural humana, associada a fala e a escrita (com
todas as suas extenses, tal como a simbologia matemtica). Assim como a comunicao [Alche 93] d' ALCH-BUC, Florence. Modles Neuronaux et Algorithmes Constructifs pour
humana rica e pluralista, os conhecimentos representados em um sistema inteligente tambm l'Apprentissage de Rgles de Dcision. Thse de Doctorat en Sciences. Loratoire LEP, Universit de
devero ser. Conhecimentos devem poder ser aproximados, inexatos e mesmo contraditrios. Paris-Sud XI - Centre d'
Orsay, France. Dcembre 1993.
- Mltiplos mecanismos de tratamento dos conhecimentos (hybrid reasoning) e modularidade: A [Andrews 95] ANDREWS, R.; DIEDERICH, J.; TICKLE, A.B. A Survey And Critique of Techniques For
cooperao entre sistemas onde cada um pode complementar o que o outro faz, ou onde as Extracting Rules From Trained ANN. Technical Report - Neurocomputing Research Centre, Queensland
tarefas podem ser divididas e distribudas segundo as especificidades de cada mdulo, so a University of Technology - Brisbane, Australia. January 1995 (To appear in : Knowledge-Based Systems).
chave para o desenvolvimento de sistemas capazes de tratar problemas muito complexos. Web: http://www.fit.qut.edu.au/NRC/
Ftp: ftp://ftp.fit.qut. edu.au/pub/NRC/tr/ps/QUTNRC-95-01-02.ps.Z
- Transferncia de conhecimentos e interao entre mdulos: Para que sistemas possam interagir e
cooperar importante que tenhamos uma poderosa forma de transferncia de conhecimentos. O [Andrews 96] ANDREWS, Robert & DIEDERICH, Joachim. (Eds.) Rules and Networks - Proceedings of
ser humano tem evoludo suas capacidades intelectuais e produtivas de maneira espantosa, onde the Rule Extraction From Trained Artificial Neural Networks Workshop. SSAISB-AISB' 96, University of
indiscutivelmente um elemento de suma importncia neste processo a sua capacidade de trocar Sussex, Brighton, UK. 2nd April. Published by QUT - Queensland Univ. of Technology, Australia. 1996.
conhecimentos e interagir com os demais seres humanos.
[Balakrishnan 95] BALAKRISHNAN, Karthik & HONAVAR, Vasant. Evolutionary Design of Neural
- Validao e evoluo dos conhecimentos: Os conhecimentos adquiridos devem ser constante- Architectures - A Preliminary Taxonomy and Guide to Literature. Technical Report: ISU CS-TR-95-01,
mente validados, pois justamente do conflito cognitivo oriundo desta validao
3. Sistemas Hbridos F.Osrio ENIA99 Pg.54 3. Sistemas Hbridos F.Osrio ENIA99 Pg.55
AI group - Dept. Computer Science, Iowa State University. 1995. Web:
http://www.cs.iastate.edu/~honavar/publist.html [Giacometti 92] GIACOMETTI, Arnaud. Modles Hybrides de l'Expertise. Thse de Doctorat en
Informatique et Rseaux, Lab. LIFIA - IMAG, Grenoble / ENST Paris - France, Novembre 1992. Web:
[Boz 95] BOZ, Olcay. Knowledge Integration and Rule Extraction in Neural Networks. Technical Report, http://www-leibniz.imag.fr/RESEAUX/public.html .
EECS, Lehigh University. October 1995. Ftp: ftp://ftp.imag.fr/ pub/LEIBNIZ/ESEAUX-D-AUTOMATES/giacometti.these.ps.tar.gz
Web: http://www.lehigh.edu/~ob00/integrated.html
[Gonzalez 96] GINZALEZ, J.C.; VELASCO, J.R.; IGLESIAS, C.A. Prototype of a Fuzzy-Neural Hybrid
[Boz 97] BOZ, Olcay. Converting a Trained Neural Net to a Decision Tree - DECEXT (Decision Tree Model. Evaluation report. Rapport Technique MIX/WP2/UPM/3.0, UPM, MIX Project deliverable D7.
Extractor). Technical Report - University of Lehigh, U.S.A. 1996.
Web: http://www.lehigh.edu/~ob00/integrated.html
[Greene 93] GREENE, David P. & SMITH, Stephen, F. Competition-Based Induction of Decision Models
[Carpenter 92] CARPENTER, G. et al. Fuzzy ARTMAP: A Neural Network Architecture for Incremental from Examples. Machine Learning, 13, pp.229-258. Kluwer Academic Publishers, Boston, MA - U.S.A.
Supervised Learning of Analog Multidimensional Maps. IEEE Transactions on Neural Networks 3(5), 1993.
pp.698-713. September 1992.
Web: http://www.cs.cmu.edu/afs/cs/project/ai-repository/ai/ areas/fuzzy/systems/artmap/ [Halgamuge 94] HALGAMUGE, S.K. FuNeGen - Fuzzy Neural System. Publicado na Internet. Web:
http://www.cs.cmu.edu/afs/cs/project/ai-repository/ai/areas/fuzzy/systems/funegen/
[Cechin 98] CECHIN, Adelmo. The Extraction of Fuzzy Rules from Neural Networks. Shaker Verlag,
Berlin. Tese de doutorado Universidade de Tbingen. 1998. [Hayashi 94] HAYASHI, Y. & BUCKLEY, J. J. Approximations Between Fuzzy Expert Systems and
Neural Networks. International Journal of Approximate Reasoning, Vol.10, pp.63-73. 1994
[Cox 92] COX, Earl. Integrating Fuzzy Logic into Neural Nets. AI Expert, June 1992.
[Hilario 93] HILARIO, Melanie. MIX: Modular Integration of Connectionist and Symbolic Processing in
[Craven 96] CRAVEN, M. & SHAVLIK, J. Extracting Tree-Structured Representations of Trained Knowledge-Based Systems. Proposal for Basic Research Project - Esprit BRA, EEC, n 09119.
Networks. Advances in Neural Information Processing Systems, MIT Press, Denver. pp.24-30. 1996.
[Hilario 94] HILARIO, M.; PELLEGRINI, C.; ALEXANDRE, F. Modular Integration of Connectionist
[Craven 96a] CRAVEN, Mark W. Extracting Comprehensible Models from Trained Neural Networks. and Symbolic Processing. In : Knowledge-Based Systems - Proceedings of the ISIKNH' 94: International
Ph.D. Thesis - Dept. of Computer Science, Univ. of Wisconsin-Madison, U.S.A. 1996. Web: Symposium on Integrating Knowledge and Neural Heuristics, pp. 123-132. Pensacola, Florida: May 1994.
http://www.cs.wisc.edu/~shavlik/mlrg/publications.html Ftp: ftp://cui.unige.ch/AI/mix/isiknh-94.ps
[DeJong 93b] DE JONG, K.; SPEARS, W.; GORDON, D. Usign Genetic Algorithms for Concept [Hilario 96] HILARIO, M. An Overview of Strategies for Neurosymbolic Integration. In: Connectionist-
Learning. Machine Learning, 13, pp.161-187. Kluwer Academic Publishers, Boston, MA - U.S.A. 1993. Symbolic Integration: From Unified to Hybrid Approaches. Ron Sun (Ed.) - Chapter 2. Kluwer Academic
Publishers, 1996. Ftp: ftp://cui.unige.ch/AI/
[Eick 96] EICK, Christoph F. ; KIM, Yeong-Joon ; SECOMANDI, Nicola ; TOTO, Ema. DELVAUX - An
Environment that Learns Bayesian Rule-Sets with Genetic Algorithms. In : The Third World Congress on [IIT 96] ITI - Institute for Information Technology. Fuzzy CLIPS. Publi dans le WEB-Internet. IIT -
Expert Systems. Seoul, Korea, February, 1996. Web: http://www.cs.uh.edu/ ~yjkim/ or NRC, Canada. Web: http://ai.iit.nrc.ca/fuzzy/fuzzy.html
http://www.cs.uh.edu/~ceick/ceick.html Ftp: ftp://ftp.cs.cmu.edu/afs/cs/project/ ai-repository/ai/areas/expert/systems/clips/0.html
[Faq 99b] FAQ. Faq Fuzzy Logic & Fuzzy Systems - Comp.ai.fuzzy.. 1999. [Jang 93] JANG, Jyh-Shing. ANFIS: Adaptive-Network-Based Fuzzy Inference Systems. IEEE
Web: http://www.cis.ohio-state.edu/hypertext/faq/usenet/fuzzy-logic/part1/faq.html Transactions on Systems, Man and Cybernetics. May 1993.
Web: http://www.cs.cmu.edu/afs/cs/project/ai-repository/ai/areas/fuzzy/systems/anfis/
[Fu 94] FU. LiMin. Neural Networks in Computer Intelligence. McGraw-Hill Publishing Inc., 1994.
[Jang 96] JANG, J.-S. R.; SUN, C.-T.; MIZUTANI, E. Neuro-Fuzzy and Soft Computing. Prentice Hall,
[Gallant 88] GALLANT, S. I. Connectionist Expert Systems. Communications of the ACM, 31(2), 1997.
pp.152-169. February 1988.
[Kasabov 90] KASABOV, Nikola K. Hybrid Connectionist Rule-Based Systems. In: Artificial Intelligence
[Gallant 93] GALLANT, S. I. Neural Network Learning and Expert Systems. MIT Press, Cambridge, MA. IV: Methodology, Systems, Applications. Proceedings of AIMSA' 90 - Albena, Bulgaria. P. Jorrand and V.
1993. Sgurev (Eds.). Amsterdam, APIA - Elsevier Science Publishers. September 1990.
[Giarratano 93] GIARRATANO, Joseph C. CLIPS User's Guide - Version 6.0. Lyndon B. Johnson Space [Kasabov 95] KASABOV, N. Learning Fuzzy Rules and Approximate Reasoning in Fuzzy Neural
Center, Software Technology Branch, NASA - U.S.A. 1993. Web: Networks and Hybrid Systems. Fuzzy Sets and Systems. Special Issue, pp.1-19. 1995. Web:
http://www.cs.cmu.edu/afs/cs/project/ai-repository/ai/areas/expert/systems/clips/ or http://divcom.otago.ac.nz:800/COM/INFOSCI/KEL/
http://home.haley.com/clips.html
3. Sistemas Hbridos F.Osrio ENIA99 Pg.56 3. Sistemas Hbridos F.Osrio ENIA99 Pg.57
[Kasabov 96] KASABOV, N.K. Foundations of Neural Networks, Fuzzy Systems and Knowledge [Nauck 97] NAUCK, D.; NRNBERGER, A.; KRUSE, R. NEFCON, NEFCLASS and NEFPROX. Publi
Engeneering. Cambridge, Massachussets, MIT Press. 1996. dans le WEB-Internet. Web: http://fuzzy.cs.uni-magdeburg.de/nnfuz.html or http://www.cs.
Web: http://divcom.otago.ac.nz:800/COM/INFOSCI/KEL/ cmu.edu/afs/cs/project/ai-repository/ai/areas/fuzzy/systems/nefcon
[Kilgour 97] KILGOUR, Richard. FuzzyCOPE 1, FuzzyCOPE2 and FuNN. Publi dans le WEB-Internet. [Nolfi 94] NOLFI, Stefano; PARISI, Domenico; ELMAN, Jeffrey L. Learning and Evolution in Neural
Web: http://divcom.otago.ac.nz:800/COM/INFOSCI/KEL/software.htm Networks. Adaptive Behavior, 3(1), pp.5-28. 1994. Web: http://crl.ucsd.edu/~elman/
[Krzysztof 97] KRZYSZTOF, J. C. & PEDRYCZ, W. Neuro-Fuzzy Systems. In: Handbook of Neural [Orsier 94] ORSIER, B.; Amy, B.; Rialle, V.; Giacometti, A. A Study of the Hybrid System SYNHESYS.
Computation (section D1). E. Fiesler and R. Beale (Eds.) Institute of Physics and Oxford University Press. In: Proceedings of the ECAI-94 Workshop - Combining Symbolic and Connectionnist Processing, August
New York, NY - U.S.A., 1997. Web: http://www.idiap.ch/publications/fiesler-96.1.bib.abs.html or 1994 - Amsterdam. 1994.
http://www.oup-usa.org/acadref/nc_accs.html Web: http://cuiwww.unige.ch/AI-group/staff/orsier.html
[Lee 95] LEE, S.-J. & JONE, M.-T. A Symbolic Logic Approach of Deriving Initial Neural Network [Orsier 95] ORSIER, Bruno. Etude et Application de Systmes Hybrides NeuroSymboliques. Thse en
Configurations for Supervised Classification. Computers and Artificial Intelligence, vol.14(4), pp.317- Informatique, Laboratoire LIFIA-IMAG, UJF - Grenoble, 1995.
337. 1995. Web: http://www-leibniz.imag.fr/RESEAUX/public.html
Ftp: ftp://ftp.imag.fr/pub/LEIBNIZ/RESEAUX-D-AUTOMATES/orsier.these.ps.gz
[Machado 92] MACHADO, Ricardo J. & ROCHA, A.F. A hybrid Architecture for Fuzzy Connectionist
Expert System. In: Hybrid Architectures for Intelligent Systems. A. Kandel and G. Langholz (Eds.). CRC [Osrio 95] OSORIO, F.S. e AMY, Bernard. INSS: Um Sistema Hbrido Simboli-Connexionista com
Press, Boca Raton - Florida, 1992. Aprendizado partir de Regras e de Exemplos. Panel' 95 - XXI Conferencia Latino-Americana de
Informtica, Canela, Brasil. August 1995.
[Mahoney 93] MAHONEY, J. & Mooney, R. Combining Connectionist and Symbolic Learning to Refine Web: http://www-leibniz.imag.fr/RESEAUX/osorio/articles/diret.html
Certainty-Factor Rule-Bases. Connection Science, 5(1993), pp.339-364. 1993.
Web: http://net.cs.utexas.edu/users/ml/ . Ftp: ftp://ftp.cs.utexas.edu/pub/mooney/papers [Osorio 98] OSORIO, F. S. INSS : Un Systme Hybride Neuro-Symbolique pour lApprentissage
Automatique Constructif. Tese de Doutorado (Ph.D. Thesis). Laboratoire LEIBNIZ IMAG / INPG,
[Mahoney 96] MAHONEY, J. Jeffrey. Combining Symbolic and Connectionist Learning Methods to Grenoble Frana, 1998. Web: http://www-leibniz.imag.fr/RESEAUX/public.html
Refine Certainty-Factor Rule Bases. Ph.D. Thesis, Dept. of Computer Science, Univ. of Texas at Austin, ou http://www-leibniz.imag.fr/RESEAUX/osorio.html.
May 1996. Web: http://net.cs.utexas.edu/users/ml/ . Ftp: ftp://ftp.cs.utexas.edu/pub/ mooney/papers Ftp: ftp://ftp.imag.fr/pub/LEIBNIZ/RESEAUX-D-AUTOMATES/osorio.these.ps.gz
(rapture-dissertation-96.ps.Z)
[Osorio 98a] OSORIO, F. S., AMY, Bernard ; DECLOEDT, Loc. Rule-Out: Um novo mtodo de
[Malek 95] MALEK, Maria & LABBI, A. Integration of Case-Based Reasoning and Neural Approaches extrao incremental de regras partir de redes neurais construtivas do tipo KBANN. SBRN98
for Classification. Rapport Technique - RT 131, LIFIA, IMAG. Grenoble, France. 1995. Web: Simpsio Brasileiro de Redes Neurais. Belo Horizonte, 1998.
http://www-leibniz.imag.fr/RESEAUX/public.html
[Osrio 99] OSORIO, F. S. Bibliografia SHNS: Sistemas Hbridos Neuro-Simblicos. Material
[Malek 96] MALEK, Maria, AMY B. A Preprocessing Model for Integrating Case-Based Reasoning and disponvel na Internet. Web: http://www.inf.unisinos.br/~osorio/shns-refs.html
Prototype-Based Neural Network. Connectionist Symbolic Integration, Lawrence, Erlbaum Associates.
1996. Web: http://www-leibniz.imag.fr/RESEAUX/public.html [Osrio 99a] OSORIO, F. S. e AMY, Bernard. INSS : A Hybrid System for Constructive Machine
Learning. Neurocomputing, 26 (1999). Elsevier Publishing. ( ser publicado).
[Malek 96a] MALEK, Maria. Un modle hybride de mmoire pour le raisonnement partir de cas. Thse
de Doctorat en Informatique, Lab. LEIBNIZ - Universit Joseph Fourier, IMAG, Grenoble - France, [Patel 97] PATEL, M. & HONAVAR, V. (Eds.) Advances in Evolutionary Synthesis of Neural Systems.
Octobre 1996. Web: http://www-leibniz.imag.fr/RESEAUX/public.html . Ftp: Boston, MA - U.S.A. MIT Press, 1997.
ftp://ftp.imag.fr/pub/LEIBNIZ/RESEAUX-D-AUTOMATES/malek.these.ps.gz
[Porto 97] PORTO, V. W. Neural-Evolutionary Systems. In: Handbook of Neural Computation (section
[Medsker 95] MEDSKER, L.R. Hybrid Intelligent Systems. Kluwer Academic Publishers, Boston. 1995. D2). E. Fiesler and R. Beale (Eds.) Institute of Physics and Oxford University Press. New York, NY -
U.S.A., 1997. Web: http://www.idiap.ch/publications/fiesler-96.1.bib.abs.html or http://www.oup-
[Mitchell 97] MITCHELL, Tom M. Machine Learning. McGraw-Hill Publishing Company, McGraw-Hill usa.org/acadref/nc_accs.html
Series in Computer Science (Artificial Intelligence). 1997.
[Posey 92] POSEY, C.; KANDEL, A.; LANGHOLZ, G. Fuzzy Hybrid Systems. In: Hybrid Architectures
[Nauck 95] NAUCK, Detlef. Beyond Neuro-Fuzzy: Perspectives and Directions. In: Proceedings of the for Intelligent Systems. A. Kandel and G. Langholz (Eds.). CRC Press, Boca Raton - Florida, 1992.
Third European Congress on Intelligent Techniques and Soft Computing - EUFIT'
95, Aachen, pp.1159-
1164. August 1995. Web: http://www.cs.tu-bs.de/~nauk
3. Sistemas Hbridos F.Osrio ENIA99 Pg.58 3. Sistemas Hbridos F.Osrio ENIA99 Pg.59
[Potter 92] POTTER, Michell. A Genetic Cascade-Correlation Learning Algorithm. In: Proceedings of the [Vestli 93] VESTLI, Sjur. FLIE - Fuzzy-Logic Inference Engine. Publi dans le WEB-Internet. Web:
COGANN-92 Internetional Workshop on Combinations of Genetic Algorithms and Neural Networks, http://www.cs.cmu.edu/afs/cs/project/ai-repository/ai/areas/fuzzy/systems/flie/
pp.123-133, IEEE Computer Society Press, 1992. Ftp: ftp://ftp. hiof.no/pub/Fuzzy/flie/ (fliefort.docu)
[Rocha 92] ROCHA, A.F. & YAGER, R.R. Neural Nets and Fuzzy Logic. In: Hybrid Architectures for
Intelligent Systems. A. Kandel and G. Langholz (Eds.). CRC Press, Boca Raton - Florida, 1992.
[Sahami 95] SAHAMI, Mehran. Generating Neural Networks Through the Induction of Threshold Logic
Uni Trees. In: Proceedings of the First International IEEE Symposium on Intelligence in Neural and
Biological Systems. Washington, DC. May 1995.
[Salomon 96] SALOMON, Ralf & VAN HEMMEN, Leo. Accelerating Backpropagation through
Dynamic Self-Adaptation. Neural Networks, vol.9(4), pp.589-601, Pergamon Press. 1996.
[Samad 92] SAMAD, T. Hybrid Distributed/Local Connectionist Architectures. In: Hybrid Architectures
For Intelligent Systems, A. Kandel and G. Langholz (Eds.), Boca Raton - CRC Press. 1992.
[Stuckelberg 96] STCKELBERG, M. & HILARIO, M. Declarative Heuristics for Neural Network
Design. In:. Proceedings of the ECAI'
96 Workshop - Neural Networks & Structured Knowledge.
Budapest, Hungary, August 1996.
[Sulzberger 93] SULZBERGER, S.; Tschichold-Gurman, N.; VESTLI, S. FUN: Optimization of Fuzzy
Rule Based Systems Using Neural Networks. IEEE Conference on Neural Networks, San Francisco,
U.S.A. April 1993.
Web: http://www.cs.cmu.edu/afs/cs/project/ai-repository/ai/areas/fuzzy/ systems/flie/
[Sun 95] SUN, Ron. (Ed.) Integrating Rules and Connectionism for Robust Commonsense Reasoning.
John Wiley and Sons, 1995.
[Sun 95a] SUN, Ron. Robust Reasoning: Integrating Rule-Based and Similarity-Based Reasoning.
Artificial Intelligence Journal. June 1995. Web: http://www.cs.ua.edu/sun/
[Towell 91] TOWELL, Geoffrey. Symbolic Knowledge and Neural Networks: Insertion, Refinement and
Extraction. Ph.D. Thesis, Computer Science Dept., University of Wisconsin-Madison, U.S.A. 1991. Web:
http://www.cs.wisc.edu/~shavlik/uwml.html
Ftp: ftp://ftp.cs.wisc.edu/ machine-learning/shavlik-group/ (towell.thesis.*.ps)
[Towell 93] TOWELL, G. & SHAVLIK, J. Extracting Refined Rules From Knowledge-Based Neural
Nets. Machine Learning, Kluwer Academic Publishers, Boston, pp.71-101, 13 (1993).
Web: http://www.cs.wisc.edu/~shavlik/uwml.html .
Ftp: ftp://ftp.cs.wisc.edu/machine-learning/shavlik-group/towell.mlj93.ps
[Towell 94] TOWELL, G. & SHAVLIK, J. Knowledge-Based Artificial Neural Networks. Artificial
Intelligence Journal, 70, pp.119-165. Elsevier Publishing, 1994.
Web: http://www.cs.wisc.edu/~shavlik/uwml.html
Ftp: ftp://ftp.cs.wisc.edu/machine-learning/shavlik-group/towell.aij93.ps
[Utgoff 88] UTGOFF, Paul. Perceptron Trees: A case study in hybrid concept representations. In:
Proceedings of the Seventh National Conference on Artificial Intelligence, St. Paul, MN. Morgan
Kaufmann Publishing. 1988.
3. Sistemas Hbridos F.Osrio ENIA99 Pg.60