O que é uma Rede Neural ?

O trabalho em Redes Neurais Artificiais (RNA), tem sido

Introdução às Redes Neurais Artificiais
2° Semestre de 2012
Cleber Zanchettin
UFPE - Universidade Federal de Pernambuco
CIn - Centro de Informática
motivado desde o começo pelo reconhecimento de que o
cérebro humano processa informações de uma forma
inteiramente diferente do computador digital convencional.

O cérebro é um sistema de processamento de informação
altamente Complexo, Não-Linear e Paralelo.

Considere uma tarefa de processamento que é realizada
corriqueiramente pelo cérebro: a visão humana.

O reconhecimento perceptivo (exemplo, reconhecer um
rosto familiar em uma cena não-familiar) pode ser
realizado pelo cérebro em poucos milésimos de segundo.

1 2

O que é uma Rede Neural ? Inspiração Biológica

Como o cérebro é capaz de realizar o reconhecimento
Sinais eletroquímicos

perceptivo, e outras tantas tarefas complexas, em um
Limiar de disparo
intervalo tão curto de tempo, ao passo que tarefas de
complexidade muito menor podem levar dias para
serem executadas em um computador convencional?

No momento do nascimento, o cérebro de uma criança
tem uma grande estrutura e a habilidade de
desenvolver suas próprias regras através do que
usualmente denominamos “experiência”.

Na sua forma geral, uma rede neural é uma máquina
projetada para modelar/simular a maneira como o
cérebro realiza uma tarefa particular ou uma função de
interesse.

3 4

1
 Inspiração Biológica

Axônios – linhas de transmissão.

Dendritos – zonas receptivas

Os neurônios ficam contidos num ambiente líquido
contendo uma certa concentração de íons, que podem
entrar ou sair através dos canais iônicos.

Tanto as transmissões de sinais nos axônios, como as
sinapses usam esses canais iônicos.

Os canais iônicos podem ser modulados, permitindo ao
cérebro se adaptar a diferentes situações.

A plasticidade sináptica é a capacidade das sinapses
sofrerem modificações.
5 6
Inspiração Biológica

A aprendizagem é resultado de alterações locais nos neurônios.

Fisicamente, existem diversas formas de modificações possíveis em
um neurônio:
– a) dendritos podem nascer, bem como serem removidos;
– b) alguns dendritos se esticam ou se encolhem, permitindo ou
eliminando, respectivamente, a conexão com outras células;
– c) novas sinapses podem ser criadas ou sofrer alterações;
– d) sinapses também podem ser removidas; e
– e) todo neurônio pode morrer e também se regenerar.

A aprendizagem via modulação sináptica é o mecanismo mais
importante para as redes neurais, sejam elas biológicas ou
artificiais.
7 8
Inspiração Biológica

Numa sinapse, dependendo da carga do íon, o fluxo resulta em
aumentar (excitação) ou diminuir (inibição) o potencial de
membrana.

O dendrito de um neurônio recebe íons de várias sinapses e o
resultado elétrico da concentração desses íons consiste no que se
chama de potencial de membrana.

Esse potencial de membrana gera eventualmente um pulso elétrico
de disparo, denominado potencial de ação.

A ativação de um neurônio ocorre apenas quando seu potencial de
membrana é maior do que um valor limiar (threshold).

O potencial de ação é gerado no corpo celular e percorre o axônio
até a sua extremidade, que coincide com a sinapse, para atuar no
neurônio pós-sinaptico seguinte.
Inspiração Biológica

A memória também é resultado de um processo
adaptativo das sinapses.

Um dos resultados de um processo de aprendizagem
é a criação de um padrão de conexões sinápticas
duradouro, que resulta na memorização de uma
determinada experiência.

A aprendizagem pode ser vista como o processo
adaptativo da estrutura sináptica, enquanto a memória
é o resultado deste processo adaptativo.
2
 O Perceptron Motivações

Funções de classificação binária
No processo de aprendizado através de exemplos, as

redes neurais artificiais exibem uma outra característica

Função de ativação muito interessante: GENERALIZAÇÃO

Isso significa que se a rede aprende a lidar com um certo
problema, e lhe é apresentado um similar, mas não
exatamente o mesmo, ela tende a reconhecer esse novo
problema, oferecendo solução semelhante.

De forma análoga, os seres humanos tendem a aplicar os
conhecimentos anteriores para lidar com novos
problemas.

9 10

Motivações Potenciais áreas de aplicação

Alguns Benefícios das Redes Neurais Artificiais
Classificação de padrões

– Adaptabilidade por intermédio de aprendizado.
Clustering/categorização
– Capacidade de operar com conhecimento parcial.
Aproximação de funções
– Tolerância a falhas.
Previsão
– Generalização.
Otimização
– Informação contextual.
Memória endereçável pelo conteúdo
– Mapeamento entrada-saída.
Controle

etc...

11 12

3
 Classificação de padrões Clustering/categorização

Tarefa: atribuir um padrão de entrada a uma
Tarefa: explorar semelhanças entre padrões e
das várias classes pré-definidas agrupar padrões parecidos
– Entradas representadas por vetores de – Também conhecido como aprendizado não-
características supervisionado
– As classes não são conhecidas de antemão

Exemplos de aplicações
– Reconhecimento de caracteres
Exemplos de aplicações
– Reconhecimento de voz – Garimpagem de dados (Data mining)
– Análise de crédito – Compressão de dados

13 14

Aproximação de funções Previsão

Tarefa: encontrar uma estimativa f’ de uma
Tarefa: dado um conjunto de exemplos {(y(t1),
função desconhecida f (y(t2),..., (y(tn)}, prever a saída y(.) no instante de
– Conhece conjunto de pares de entrada-saída {(x1y1),
tempo tn+1
(x2y2), ..., (xnyn)}

Exemplos

Exemplos – Previsão do tempo
– Problemas de modelagem científica e de engenharia – Previsão de falências
– Previsão de ações na bolsa
– Previsão do desgaste de peças

15 16

4
 Otimização Memória endereçável pelo conteúdo

Tarefa: recuperar itens utilizando eles mesmos

Tarefa: encontrar solução que satisfaça a um como endereços
conjunto de restrições tal que uma função – Recupera item correto mesmo que a entrada seja
parcial ou distorcida
objetivo seja maximizada ou minimizada

Exemplos

Exemplo
– Bases de Dados
– Problema do caixeiro viajante (NP completo)
– Sistemas Multimídia

17 18

Controle História das Redes Neurais Artificiais

1938 Rashevsky descreve a dinâmica de ativação neural

Tarefa: gerar entrada de controle para que o
sistema siga trajetória especificada por modelo
de referência
– Modelo definido por conjunto de tuplas {x(t), y(t)}

Exemplo
– Controle de processos químicos
– Controle de robôs
por meio de equações diferenciais
1943 McCulloch & Pitts propõe o primeiro modelo
matemático para um neurônio biológico
1949 Hebb propõe a sua regra de aprendizagem: a
ativação de um neurônio por outro reforça a sua
conexão
1958 Rosenblatt inventa o Perceptron, basicamente
adicionando um algoritmo de aprendizagem ao
modelo de McCulloch & Pitts

19 20

5
 História das Redes Neurais Artificiais
1960 Widrow & Hoff introduzem a Adaline, uma rede simples
treinada através de gradiente descendente
1961 Rosenblatt propõe um esquema para o treinamento de
redes com múltiplas camadas, mas seu algoritmo é
fraco, pois não considera nodos com funções não-
diferenciáveis
1962 Hubel & Wiesel descobrem propriedades do córtex
visual motivados por estudos com redes neurais auto-
organizáveis
1963 Novikoff prova o Teorema de Convergência do
Perceptron
21
21
História das Redes Neurais Artificiais
1986 Rumelhart, Hinton & Williams propõe o algoritmo
Backpropagation na sua forma moderna,
desencadeando novo interesse na área
1987 Hecht-Nielsen desenvolve a rede counterpropagation
1988 Carpenter & Grossberg propõe a rede Adaptive
Resonance Theory (ART)
1990s Desenvolvido um sub-campo Radial Basis Function
Networks
2000s Explorado o poder dos Ensembles of Neural Networks,
Support Vector Machines, and Bayesian Techniques
23
23
História das Redes Neurais Artificiais
1964 Taylor constrói o primeiro circuito neural (winner-take-
all) vencedor-leva-tudo com inibições entre as unidades
de saída
1969 Minsky & Papert mostram que Perceptrons não são
computacionalmente universais; o interesse na
pesquisa em redes neurais artificiais diminui
1982 Hopfield desenvolve sua rede auto-associativa
1983 Kohonen propõe mapas auto-organizáveis
1985 Ackley, Hinton & Sejnowski desenvolvem uma rede
estocástica chamada máquina de Boltzmann
22
22
Processo de aprendizagem
Uma rede neural artificial pode se encontrar em duas
fases:

a primeira fase é a de aprendizagem, ou treinamento,
em que a rede se encontra no processo de aprendizado,
ajustando os parâmetros livres, para poder
posteriormente desempenhar a função destinada; e

a segunda fase é a de aplicação propriamente dita, na
função para a qual ela foi destinada, como de
classificação de padrões de vozes, imagens, etc.
24
6
 Processo de aprendizagem Aprendizado de Máquina

O processo de aprendizagem implica na seguinte sequência de

eventos:
Processos de Aprendizado
1. A rede neural é estimulada por um ambiente
2. A rede neural sofre modificações nos seus parâmetros livres como Algoritmos de Aprendizado
resultado desta estimulação
3. A rede neural responde de uma maneira nova ao ambiente, Aprendizado por Aprendizado Aprendizado Aprendizado de
devido as modificações ocorridas na sua estrutura interna. correção de erro competitivo Hebbiano Boltzmann

O problema de aprendizagem é solucionado por um conjunto Paradigmas de Aprendizado

pré-estabelecido de regras – o algoritmo de aprendizagem
Aprendizado Aprendizado Aprendizado

Outro fator a ser considerado na solução do problema de supervisionado por reforço não supervisionado
aprendizagem é a maneira pela qual uma rede neural se relaciona
com seu ambiente – o paradigma (modelo) de aprendizagem

25 26

Aprendizagem por correção de erro Aprendizagem por correção de erro

O sinal de saída do neurônio k é representado por yk (n), e a resposta desejada

por dk(n), produzido um sinal de erro:
ek (n) = dk (n) – yk (n)
O sinal de erro ek(n) aciona um mecanismo de controle, cujo propósito é aplicar
uma sequência de ajustes corretivos aos pesos sinápticos do neurônio k. Os
ajustes corretivos são projetados para aproximar, passo a passo, o sinal de
saída yk (n) da resposta desejada dk(n).
Este objetivo é alcançado minimizando-se uma função de custo ou índice de
desempenho, E(n), definido em termos do sinal de erro como:
E (n) = ½ ek2(n)

Nota-se que o sinal de erro deve ser diretamente mensurável, ou
seja, a resposta desejada deve ser fornecida por alguma fonte
externa, e o neurônio k deve ser visível ao mundo externo.

Tendo calculado o ajuste sináptico, o valor atualizado do peso
sináptico é determinado por:
wkj (n + 1) = wkj (n) + ∆wkj (n).
http://www.dee.ufc.br/~arthurp

27 28

7
Aprendizagem baseada em memória

As experiências são armazenadas em uma grande memória de exemplos
de entrada-saída classificados corretamente:
{(xi,di)} i = 1...n,
onde xi representa um vetor de entrada e di representa a resposta
desejada correspondente.

Em um problema de classificação de padrões binários, por exemplo, há
duas classes a serem consideradas, C1 e C2, e a resposta desejada di
assume valor 0 para a classe C1 e valor 1 para a classe C2.

Na classificação de um vetor de teste, o algoritmo busca os dados de
treinamento em uma vizinhança local deste vetor.

Todos os algoritmos de aprendizagem baseada em memória envolvem dois
aspectos essenciais:
– o critério utilizado para definir a vizinhança local do vetor de teste, e
– a regra de aprendizagem aplicada aos exemplos de treinamento na
vizinhança local do vetor de teste.
Aprendizagem Hebiana
 O postulado de aprendizado de Hebb é a mais antiga e mais
famosa de todas as regras de aprendizagem, e é baseado no texto
a seguir, contido no livro de Hebb (1949), The Organization of
Behavior:
– O peso de uma conexão sináptica deve ser ajustado se houver
sincronismo entre as atividades: do neurônio pré-sináptico e
do neurônio pós-sináptico.
– Em termos matemáticos
∆wij (t ) = ηyi (t ) x j (t )
que significa que a mudança do peso sináptico ∆wij(t) é
proporcional ao valor do neurônio pós-sináptico yi(t) e ao valor
do neurônio pré-sinático xj(t) multiplicado pelo fator de
aprendizado η .

29 30

Aprendizagem de Boltzman Paradigmas de Aprendizagem

http://www.dee.ufc.br/~arthurp http://www.dee.ufc.br/~arthurp

31 32

8
Supervisionado Não-supervisionado

Também conhecida com aprendizagem com professor, consiste
Neste caso não há um professor para supervisionar o processo de
em que o professor tenha o conhecimento do ambiente, e fornece aprendizagem. Isso significa que não há exemplos rotulados da
o conjunto de exemplos de entrada-resposta desejada. função a ser aprendida pela rede.

Com esse conjunto, o treinamento é feito usando a regra
aprendizagem por correção de erro.
de
Nesse modelo, também conhecido como auto-organizado, são
dadas condições para realizar uma medida da representação que a
rede deve aprender, e os parâmetros livres da rede são otimizados
em relação a essa medida.

Para a realização da aprendizagem não-supervisionada pode-se
utilizar a regra de aprendizagem competitiva.

33 34

Aprendizagem por reforço Rede Neural Multi-Camadas...

Pode ser visto como caso particular de
aprendizagem supervisionada. f1
w1

A principal diferença entre o aprendizado x1 w5 f3
supervisionado e o aprendizado por reforço é a
medida de desempenho usada em cada um crítico w3
deles. y

No aprendizado supervisionado, a medida de reforço/ w2
desempenho é baseada no conjunto de penalidade w6
respostas desejadas usando um critério de erro x2
conhecido, enquanto que no aprendizado por w4
reforço a única informação fornecida à rede é se RNA f2
uma determinada saída está correta ou não. resposta

A idéia básica tem origem em estudos

experimentais sobre aprendizado dos animais. y = f3( w5 f1 (w1 x1 + w3 x2) + w6 f2 (w2 x1 + w4 x2) )
Quanto maior a satisfação obtida com uma certa
experiência em um animal, maiores as chances
dele aprender.

35 36

9
37 38

39 40

10
 Leitura recomendada Bibiografia básica

Simon Haykin – Redes Neurais – Princípios e

Prática, 2a. Edição, Ed. Artmed: Bookman, Porto
Alegre, 1999.

Braga, A. P., Carvalho, A. C. P. L., Ludermir, T. B.

Redes Neurais Artificiais: teoria e aplicações.
LTC - Livros Técnicos e Científico, 2ª edição,
2007 p.260.

41 42

Fontes

Site da Profa. Teresa Ludermir / CIN - UFPE:

http://www.cin.ufpe.br/~tbl

Site do Prof. Arthur Braga / DEE - UFC:

http://www.dee.ufc.br/~arthurp

Site do Prof. Marcilio de Souto / DIMAP - UFRN:

http://www.dee.ufc.br/~arthurp

Site do Prof. André de Carvalho – ICMC / USP:

http://www.icmc.usp.br/~andre/research/neural/

43

11