Centro de Informtica UFPE Disciplina: Redes Neurais Prof.

. Germano Vasconcelos Aluno: Everton Guerra Marques Resposta da Lista de Exerccios 1. Defina o que uma Rede Neural. Redes neurais so sistemas computacionais baseados numa aproximao computao baseada em ligaes. Ns simples so interligados para formar uma rede de ns - da o termo "rede neural". A inspirao original para esta tcnica advm do exame das estruturas paralelas do crebro, em particular do exame de neurnios e que as redes neurais tentam reter algumas de suas propriedades. Ou seja, so sistemas paralelos distribudos compostos por unidades de processamento simples, interligadas entre si e com o ambiente por um nmero de conexes. As conexes esto associadas a pesos que armazenam conhecimento da rede. Uma rede neural pode ser interpretada como um esquema de processamento capaz de armazenar conhecimento baseado em aprendizagem (experincia) e disponibilizar este conhecimento. Alm disso, redes neurais possuem a habilidade de lidar com problemas complexos, imprecisos e ruidosos. 2. Quais os elementos fundamentais de uma Rede Neural? Ilustre e exemplifique. Os elementos fundamentais de uma rede neural so: 2.1 - A funo das unidades de processamento 2.2 - A topologia da rede 2.3 - A estratgia ou algoritmo de aprendizagem

A funo das unidades de processamento caracterizada por trs elementos bsicos: 2.1.1 Um conjunto de conexes de entradas 2.1.2 Um estado de ativao 2.1.3 Um valor de sada (resposta) Desta forma, o neurnio se comporta da seguinte maneira: Ocorre um estmulo de entrada. Ocorre uma computao do estado de ativao em funo do estmulo. Ocorre uma resposta em funo da ativao. A definio da unidade de processamento caracteriza-se por: Regra de propagao (estado de ativao) e Funo de ativao (resposta do neurnio). As principais funes de ativao so:

Funo limiar

Funo sinal

Funo rampa

Funo linear

Funes sigmoids (logstica e tangente hiperblica)

Alm disso, existem as seguintes topologias de rede: 2.2.1 FeedForward

2.2.2 Recorrentes

2.2.3 Construtivas

E as seguintes estratgias de aprendizagem so utilizadas: 2.3.1 Supervisionada Um professor diz quanto a resposta fornecida pelo sistema se aproxima da resposta desejada. Exemplo: nota de um aluno numa prova.

2.3.2 Por reforo um crtico diz apenas se a resposta fornecida est certa ou errada. Exemplo: punio / recompensa no treinamento de animais 2.3.3 No-Supervisionada o sistema tenta se auto-organizar baseado nas similaridades entre os exemplos apresentados. Exemplo: desenvolvimento das clulas simples do crtex visual estriado.

3. Explique os princpios da Aprendizagem Supervisionada e da Aprendizagem Nosupervisionada. 3.1 - Aprendizado Supervisionado usa-se um conjunto de pares, entrada e sada, previamente conhecidos que representam a realidade; Um professor diz quanto a resposta fornecida pelo sistema se aproxima da resposta desejada (e. g. nota de um aluno numa prova). Em termos conceituais, o professor tem conhecimento (representado pr um conjunto de exemplos de entrada-sada) sobre o ambiente, porm este ambiente no de conhecimento da rede neural de interesse. O conhecimento do ambiente o qual dispe o professor transferido para as redes neurais atravs de treinamento da forma mais completa possvel, podendo ento ser dispensado o professor deixando apenas a rede neural lidando com o ambiente.

O Conjunto de treinamento dado por: s ={(x1, f(x1)), (x2, f(x2)),..., (xn, f(xn))}. Possui convergncia rpida. 3.2 Aprendizado No Supervisionado no se usa um conjunto de exemplos previamente conhecidos. Uma medida da qualidade da representao do ambiente pela rede estabelecida e os parmetros so modificados de modo a otimizar esta medida. Este tipo de aprendizado muito utilizado na rea de reconhecimento de padres. O sistema tenta se auto-organizar baseado nas similaridades entre os exemplos apresentados (e. g. desenvolvimento das clulas simples do crtex visual estriado). O Conjunto de treinamento dado por: s = {(x1, ), (x2, ),..., (xn, )}. A convergncia lenta. So dadas condies para a realizao de uma medida independente da tarefa de qualidade da representao que a rede deve aprender, e os parmetros livres da rede so otimizados em relao a esta medida, com isso desenvolvida a habilidade de formao de representaes internas para codificar as caractersticas da entrada gerando conseqentemente novas classes. Para realizar este aprendizado pode-se utilizar a regra da aprendizagem competitiva. 4. O Perceptron um classificador linear, justifique. Qual a diferena entre o Perceptron e o Adaline? 4.1 - O perceptron um classificador linear pois, como pode ser visto atravs de clculos matemticos, a funo de sada dada por: x2 = -w1/w2.x1 + q/ w2 (y = m.x +c) e como pode ser visto, a resposta obtida uma funo linear. E uma funo linear gera apenas uma reta (num sistema bidimensional), o que no permite, por exemplo, no caso de uma funo xor, a separao dos resultados 0 dos 1, pois para isso seriam necessrias 2 retas. 4.2 - A principal diferena entre o "perceptron", apresentado por Rosemblatt, e o Adaline de Widrow situa-se no procedimento de treinamento. Na mesma poca em que Rosenblatt props o perceptron, Widrow e Hoff propuseram o algoritmo dos mnimos quadrados (regra delta) para a rede Adaline (Adaptive Linear Element), similar ao perceptron, porm com funo de ativao linear ao invs de funo degrau. 6. Explique as formas em que os parmetros de uma rede RBF podem ser treinados. - Regra de propagao deve ser treinada com a utilizao de funes radiais, tais como: Distncia Euclideana => netj = |X-C| = (xi ci)2. - Funo de ativao deve utilizar funes locais tais como a funo gaussiana => oj = f(netj) = exp(-netj2/cj2) - Fase de treinamento so trs conjuntos de paramtros a serem estimados: - As larguras d das funes de base radial, podem ser definidas se utilizando de valores definidos a priori, ou utilizando a tcnica de gradiente descendente e a heurstica do vizinho mais prximo. - Os centros Cj que podem ser definidos atravs de distribuio uniforme ou aleatoriamente, tomando uma amostra do conjunto de treinamento, ou mtodo no supervisionado de agrupamento (clustering, por exemplo, usando o algoritmo K-Mdias), ou por ltimo, utilizando o gradiente descendente. - Os Pesos Wji da camada de sada podem ser treinados com a utilizao de manipulao de matrizes, gradiente descendente, mnimo erro quadrado, mtodo de newton. 7. Pesquise e explique o funcionamento do algoritmo DDA (Dynamic Decay Adjustment) para o treinamento de RBFs. Em redes RBF, pode-se utilizar um algoritmo para treinamento chamado DDA (Dynamic Decay Adjustment), que no possui uma arquitetura fixa como os outros algoritmos e realiza o treinamento de forma bastante rpida. O DDA foi criado a com intuito de resolver uma deficincia

de um algoritmo chamado P-RC (Probabilistic Restricted Coulomb Energy), que no classificava padres em reas de conflito. rea de conflito uma regio onde duas ou mais gaussianas se sobrepem. Se um novo padro da classe B ficasse em uma regio desse tipo, ele no conseguiria ser classificado pelo P-RCE, porm o algoritmo DDA iria classific-lo como sendo da classe B.

O algoritmo DDA um algoritmo de treinamento construtivo. No incio do processo de treinamento a camada escondida no possui nenhum neurnio, e a partir do momento que a fase treinamento se inicia, novos neurnios vo sendo adicionados dentro dessa camada caso haja necessidade. Ou seja, a quantidade de neurnios que devem fazer parte da camada escondida no determinada inicialmente, ela ser determinada automaticamente durante o treinamento pela anlise de dois parmetros, o + e o -. Nas redes RBF-DDA, os ns da camada de entrada so totalmente conectados aos neurnios da camada intermediria. Dessa forma, se um novo neurnio for adicionado camada intermediria, ele dever ser conectado a todas as entradas. O algoritmo DDA utiliza dois parmetros para decidir se um novo neurnio dever ser introduzido na camada intermediria. O primeiro parmetro o threshold positivo, ou +, que possui um valor padro de 0,4 e que verifica se para um novo padro, usado durante o treinamento da rede, existe algum prottipo da mesma classe com ativao acima do +. Caso exista, nenhum novo prottipo ser adicionado rede. O segundo parmetro threshold negativo, ou -, que possui um valor padro de 0,1 e utilizado para solucionar problemas de conflito de padres que possam vir a existir durante o treinamento. Na camada de sada para uma rede RBF-DDA existe uma quantidade n de neurnios, de forma que essa quantidade igual ao nmero de classes utilizadas pelos padres de treinamento. Ou seja, se durante o treinamento tivemos padres de quatro classes diferentes, na camada de sada teremos quatro unidades presentes e cada uma delas representa a sada de uma dessas classes. Para realizar essa classificao, os neurnios da camada sada competem atravs do mtodo conhecido como winner-takes-all, onde o neurnio que contiver o maior valor de ativao ser usado para realizar a classificao. A Figura abaixo um exemplo apresentado por Berthold, onde este ilustra os passos do funcionamento do DDA: 1. Um novo padro classe A apresentado, ento uma nova gaussiana adicionada. 2. Um novo padro da classe B apresentado, ento uma nova gaussiana adicionada e suas larguras so ajustadas atravs da interseco do - com o centro da gaussiana da classe conflitante. 3. Um novo padro da classe B apresentado, ento a amplitude da gaussiana B incrementada em uma unidade, pois o valor de ativao ficou acima do +; e a largura da gaussiana A ajustada atravs da interseco dela com - e o centro do padro da classe B que foi apresentado como entrada. 4. Um novo prottipo da classe A apresentado, ento ser introduzida uma nova gaussiana, pois o valor de ativao ficou abaixo do +, e a largura dessa nova gaussiana ser ajustada de acordo com a interseco dela e o - e o centro da gaussiana de classe conflitante.

8. Descreva o princpio de reduo da vizinhana durante o treinamento do modelo de Kohonen. O efeito da reduo da vizinhana para localizar reas de atividade similar. Todas as unidades em uma determinada rea so afetadas inicialmente, e realinham-se ligeiramente no sentido do vetor peso do n vencedor. Enquanto o tempo passa, a vizinhana reduzida e somente os ns na vizinhana do ganhador so alterados. Estes se alinham mais e mais, at que a rea em torno do vencedor consista de vetores com pesos similares. O algoritmo padro de treinamento apresentado abaixo (KASKI, 1997): 1. Inicializao e definies de parmetros Inicialize os pesos wij Defina os parmetros de vizinhana. Defina os parmetros de aprendizagem. 2. Enquanto a condio de parada falsa, faa: 2.1. Para cada j calcule: 2.1.1.

2.1.2. Encontre o ndice J tal que D(J) seja um mnimo. 2.1.3.

2.2. Atualize a taxa de aprendizagem 2.3. Reduza o raio de vizinhana Ento, como pode ser visto no algoritmo mostrado acima, a taxa de aprendizagem decresce lentamente com o tempo e conseqentemente a vizinhana tambm diminui.

9. Explique as razes para a normalizao dos pesos usada no modelo de Kohonen. A norma Euclidiana de um vetor a medida de sua magnitude. Entretanto, no existe o interesse na magnitude dos vetores, mas sim em como eles so orientados. Em outras palavras, ns dizemos que dois vetores so similares se estiverem apontando no mesmo sentido, no importando sua magnitude.

A nica maneira que ns podemos assegurar de que ns estejamos comparando a orientao de dois vetores, usando a medida Euclidiana, primeiramente certifica-se de que todos os vetores peso esto normalizados. Para um conjunto de vetores no espao Euclidiano isto significa que cada vetor reter sua orientao, mas ser de um comprimento fixo, diferente da sua magnitude anteriormente. A comparao entre os vetores peso e do vetor de entrada ser concernida agora somente com a orientao, como necessrio. Outra vantagem til de normalizar o vetor que reduz o tempo de treinamento da rede, porque remove um grau de variabilidade no espao peso. 10. Qual a idia por trs da operao da funo chapu mexicano? Sabe-se que a ordenao topolgica das clulas do ctex cerebral resultado do uso de feedback lateral entre as clulas do mesmo. Esse feedback lateral geralmente modelado em redes neurais por uma funo conhecida como chapu mexicano. Segundo a funo chapu mexicano cada neurnio influencia o estado de ativao de seus neurnios vizinhos de trs formas possveis (ver tambm figura 3.13): Excitatria, se os vizinhos esto prximos a ele (por exemplo, dentro de uma rea R1). Inibitria, se os vizinhos esta fora da rea anterior, mas dentro de uma segunda rea (por exemplo, dentro de uma rea R2, mas fora da rea R1, onde R2 > R1). Levemente Excitatria, se os vizinhos esto fora das reas anteriores, mas dentro de uma terceira rea (por exemplo, dentro de uma rea R3, mas fora dos raios R1 e R2, onde R3 > R2 > R1).

Desta forma, a funo do chapu mexicano de excitao ou inibio lateral dos vizinhos. 13. Explique em linhas gerais as quatro fases de operao do modelo da Teoria da Ressonncia Adaptativa (ART). 1 - Fase de Inicializao Controle 1 - define o modo de entrada (1) ou de comparao (0) feito zero (0) se houver algum neurnio ativo na sada (camada de reconhecimento). Controle 2 - habilita (1) ou desabilita (0) os ns da camada de sada feito zero (0) se o teste de vigilncia falha (desabilita a camada e reseta seus valores de ativao para zero). Inicializao dos pesos W e T

n o nmero de ns de entrada. 0 < <1 Limiar de vigilncia 2 - Fase de Reconhecimento Vetor de entrada apresentado e a camada de sada ativada (cada neurnio ter um nvel de ativao correspondente similaridade de seus pesos com o padro de entrada). Cada neurnio da camada de entrada tem trs entradas: componente do vetor de entrada xi o sinal de realimentao da camada de sada

 o sinal de controle 1 N vencedor transmite seu padro (vetor T) para a camada de comparao Neurnio Vencedor

Regra dos 2/3 (camada de entrada) (Grossber e Carpenter) controla o fluxo de dados Se duas das entradas esto ativas, ento o neurnio gera uma sada 1, para quaisquer que sejam as entradas; Caso Contrrio a sada zero (0). Escolhe-se o neurnio vencedor na camada de sada (semelhantemente rede de Kohonen). 3 - Fase de Comparao Dois vetores so apresentados camada de entrada para comparao (a entrada e o vetor padro recebido da camada de sada) A entrada de controle 1 feita zero (0) (a camada de sada tem um neurnio ativo)

A regra de 2/3 calcula a sada Operao AND entre os dois vetores T e X produzindo o vetor de comparao Z. O vetor Z serve de entrada para o mecanismo de reset junto com o vetor de entrada X. - Teste Verdadeiro: Classificao termina (neurnio vencedor a classe, atualiza os pesos) - Teste Falso: Classe no foi encontrada (inicia fase de busca) Limiar de Vigilncia Mecanismo de vigilncia testa a similaridade entre os vetores Z e X

Testa se 4 - Fase de Busca

 Rede tenta encontrar uma classe na camada de reconhecimento Sada do neurnio ativo (atual) zerada ==> Controle 1 torna-se 1 O vetor de entrada reaplicado na camada de reconhecimento para se encontrar um neurnio cujos pesos so mais similares ao vetor na entrada A rede entra na fase de comparao novamente Faz novo teste do Limiar de vigilncia O processo se repete por muitos ciclos e se a rede no encontrar um neurnio vencedor, o vetor declarado como desconhecido (o vetor atribudo a um neurnio de sada que ainda no representa alguma classe) Ressonncia advm do fato do padro passar entre as camadas durante vrios ciclos.