Apresentação Semanística 2016

Introdução
Modelos de Redes Neurais

O modelo MLP
Comentários finais
Introdução a Modelos de Redes Neurais
João Henrique Ferreira Flores
IME-UFRGS - Departamento de Estatı́stica
13 de setembro de 2016
1 / 53
Introdução
O modelo MLP
Redes Neurais Artificiais
Inicialmente tratadas como Redes Neurais Artificiais

(RNA), ao contrário das Redes Neurais Naturais (RNN);
Uma RNA é um modelo matemático(ou estatı́stico) que,
em sua essência, tenta reproduzir o modelo de
funcionamento do cérebro (uma RNN);
Todos os cérebros, independentes de sua natureza, são
formados por neurônios;
Os quais comunicam-se entre si por sinapses;
2 / 53
Introdução
O modelo MLP
Uma RNA segue esta seqüência: neurônios - sinapses;

A RNA está ligada a algoritmos para tarefas cognitivas,
como aprendizagem, otimização e modelagem, assim
como as RNN [Müller et al., 1995, De, 1997];
[Haykin, 2001], contudo, vai mais além, definindo como
uma forma de obter junto aos computadores a forma de
raciocinar utilizada pelo cérebro humano;
Em resumo, diversos autores, citam algumas principais
caracterı́sticas em comum: sistema de informações
complexo, não-linear e de funcionamento paralelo;
3 / 53
Introdução
O modelo MLP
Breve histórico
O primeiro modelo de RNA data de 1943, por Warren

McCulloch e Walter Pitts;
Neurônio simples e binário, também chamado de neurônio
de decisão ou escolha;
O modelo de neurônio, chamado de McCulloch-Pitts utiliza
um limite para mudança de estado, um threshold;
O estado do neurônio (0 ou 1) é definido por uma
combinação linear de seus saı́das;
4 / 53
Introdução
O modelo MLP
Neurônio de McCulloch-Pitts
X
hi (t) = wij nj (t), (1)
j
onde ni = 0, 1, wij representa os pesos sinápticos (ou

força sináptica) entre os neurônios j e i;
hi (t) modela o que na época foi chamado de polarização
potencial total pós-sináptica no neurônio i, ou a entrada
(input)
5 / 53
Introdução
O modelo MLP
Com esse modelo, a rede neural é completamente

determinada pela relação entre hi (t) e ni (t + 1);
No caso mais simples, o neurônio muda de estado se o
valor de entrada excede o parâmetro ϑi . Neste modelo, a
evolução da rede segue a regra apresentada na relação:
ni (t + 1) = θ(hi (t) − ϑi ), (2)

onde θ(x) é a função de degrau unitário, de tal forma que
θ(x < 1) = 0 e θ(x ≥ 1) = 1.
6 / 53
Introdução
O modelo MLP
Para McCulloch e Pitts esta rede neural poderia resolver

qualquer tipo de computação, similar a um computador
atual;
Entretanto, para se utilizar este modelo, era necessário
estabelecer os pesos da matriz wij para cada uma das
tarefas que a rede iria modelar;
Para resolver este problema, Eduardo Caianiello implantou
um algoritmo capaz de determinar os pesos sinápticos;
O algoritmo, chamado de equação mnemônica, seria o
princı́pio da regra de aprendizagem de Hebb
[Müller et al., 1995].
7 / 53
Introdução
O modelo MLP
Atualizando...
Em 1949, com a publicação do livro de Hebb, é

apresentada, pela primeira vez, uma regra explı́cita de
aprendizagem para a modificação sináptica;
Trata-se de um princı́pio semelhante aos métodos atuais:
aprendizagem ocorre por ativação sináptica;
Nas décadas seguintes, outros resultados importantes
foram apresentados;
Destaca-se Rosenblatt, em 1958, que descreveu seu
trabalho sobre o perceptron, base dos modelos mais
comuns de RNA;
A pesquisa diminui muito na década de 70 e a área de
RNA ficou muito restrita;
8 / 53
Introdução
O modelo MLP
Atualizando...
Finalmente, em 1982, um artigo de Hopfield, é

considerado o renascimento da área;
A rede desenvolvida é chamada de Redes de Hopfield e,
apesar de certas crı́ticas, torna-se finalmente aplicável a
situações práticas;
Crı́ticas, contudo, foram feitas, por não se tratar de
processos paralelos (a obtenção dos pesos sinápticos se
dá de forma sequencial);
Trata-se de uma rede recorrente, conforme figura a seguir;
9 / 53
Introdução
O modelo MLP
10 / 53
Introdução
Arquiteturas de Redes
Aprendizagem
O modelo MLP
Tarefas de aprendizagem
Comentários Iniciais
As RNAs, recentemente, passaram a ser tratadas apenas

como Redes Neurais;
Existem diversos modelos, mas poucas arquiteturas de
redes;
O termo modelo normalmente se dá quanto a combinação
de tarefa de aprendizagem, algoritmo de aprendizagem e
arquitetura da rede;
Tarefas de aprendizagem: associação de padrões,
reconhecimento de padrões, controle, aproximação de
funções∗ , formação de feixe e filtragem.
11 / 53
Introdução
Aprendizagem
O modelo MLP
Algoritmos de aprendizagem, também chamados de

métodos de aprendizagem, é a forma pela qual a rede será
habilitada a cumprir com a sua tarefa previamente definida
Existem vários métodos, porém os mais utilizados são:
aprendizado baseado em memória, correção de erro, de
Hebb, aprendizagem competitiva e a aprendizagem de
Boltzmann.
A correção de erro é um dos métodos mais comuns;
A aprendizagem competitiva baseia-se numa competição
entre os neurônios, chamada de o vencedor leva tudo;
A aprendizagem de Boltzmann é outro método bem
conhecido, mas pouco utilizado.
12 / 53
Introdução
Aprendizagem
O modelo MLP
A arquitetura da rede é a forma pela qual os neurônios se

conectam, assim como o fluxo de informações;
São três as arquiteturas gerais (podendo haver
subclassificações não abordadas aqui):
1 Rede alimentada adiante com camada única (feed forward);
2 Rede alimentada adiante com múltiplas camadas (feed
forward);
3 Redes recorrentes;
13 / 53
Introdução
Aprendizagem
O modelo MLP
Redes alimentadas adiante com camada única
É considerado o mais simples modelo de rede;

Redes com esta arquitetura têm a camada de entrada e a
camada de saı́da, não possuindo nenhuma camada
oculta;
É alimentada adiante pois o fluxo de informação é
unidirecional, sendo projetado apenas da camada de
entrada para a camada de saı́da;
14 / 53
Introdução
Aprendizagem
O modelo MLP
Redes alimentadas adiante com camada única
15 / 53
Introdução
Aprendizagem
O modelo MLP
Redes alimentadas adiante de múltiplas camadas
Este é o modelo mais conhecido de rede neural;

Nesse modelo, a rede conta com uma ou mais camadas
ocultas de neurônios;
São chamados de neurônios ocultos porque eles não são
visı́veis como os neurônios da camada de entrada e nem
como os neurônios da camada de saı́da;
Modelos baseados em redes de múltiplas camadas
seguem a nomenclatura X − Y − Z ;
A figura a seguir, por exemplo, trata-se de uma rede 5-4-2;
16 / 53
Introdução
Aprendizagem
O modelo MLP
Redes alimentadas adiante de múltiplas camadas
17 / 53
Introdução
Aprendizagem
O modelo MLP
Redes recorrentes
Esta arquitetura de rede se diferencia das anteriores por

possuir, pelo menos, um laço de realimentação;
Este laço pode ser de realimentação ou
auto-realimentação;
Realimentação é quando a saı́da da rede alimenta a
entrada de mais de um neurônio;
Auto-realimentação é quando a saı́da de um neurônio é
realimentada para sua própria entrada;
18 / 53
Introdução
Aprendizagem
O modelo MLP
Redes recorrentes
19 / 53
Introdução
Aprendizagem
O modelo MLP
Redes Recorrentes
20 / 53
Introdução
Aprendizagem
O modelo MLP
Métodos de aprendizagem
Além de se tratar, por si só, uma grande área de

conhecimento, os métodos de aprendizagem é o que
permite a elaboração de um modelo aplicado;
Aprendizagem é o processo de ajuste dos pesos
sinápticos;
Este processo está diretamente ligado tanto ao uso que
será dado ao modelo quanto ao método de aprendizagem
que será utilizado
Este ajuste é feito utilizando-se um treinamento;
Desta forma, a aprendizagem é o objetivo ao se treinar
uma RNA;
21 / 53
Introdução
Aprendizagem
O modelo MLP
Treinamento e aprendizagem
Uma das áreas de Redes Neurais que, provavelmente,

possui maior interação com a Estatı́stica é a área de
treinamento e aprendizagem;
Existem diversos artigos que, mesmo com um modelo
”fixo”, demonstram resultados bem distintos alterando-se
”apenas”a forma de treinamento;
Quanto a aprendizagem, esta pode ser realizada de duas
maneiras distintas: com ou sem supervisão;
22 / 53
Introdução
Aprendizagem
O modelo MLP
Aprendizagem sem supervisão
Normalmente ligada a associação de padrões;

O termo sem supervisão se refere ao fato de que não é
apresentado à rede um padrão a ser seguido;
Métodos de grupamentos (clusters) seriam os mais
semelhantes;
Algoritmos buscam minimizar distâncias/grupos/etc.
23 / 53
Introdução
Aprendizagem
O modelo MLP
Aprendizagem com supervisão
Ligada a parte de estimação de funções ou modelagem de

uma forma mais ampla;
Neste caso existe um valor alvo a ser buscado;
E, portanto, uma medida de erro associado a este valor;
Algoritmos buscam minimizar o erro;
24 / 53
Introdução
Aprendizagem
O modelo MLP
Treinamento
Talvez um dos principais problemas no uso de Redes

Neurais;
É considerado o principal responsável por ”bons”e
”maus”modelos;
Existe uma grande variedade de técnicas de treinamento
para, quase, qualquer caso especı́fico;
Tem se tornado o principal tópico na parte de
aprendizagem;
25 / 53
Introdução
Aprendizagem
O modelo MLP
Treinamento
Para traçar um paralelo, mesmo que não ideal, podemos

comparar treinamento a parte de amostragem;
Devido a natureza aleatória de muitos dos modelos,
existem certas regras sobre o método de treinamento a
ser utilizado;
Para divulgação de resultados de certos modelos, é
exigida a validação cruzada de n etapas, ou n-fold cross
validation;
n se refere a quantidade de grupos que devem ser
formados a partir dos dados disponı́veis;
26 / 53
Introdução
Aprendizagem
O modelo MLP
Treinamento
Por se tratarem de modelos não paramétricos, do ponto de

vista estatı́stico;
O treinamento deve ser adequado, de forma a se evitar
modelos super-treinados (overtraining);
Apesar de certos conceitos teóricos, como a dimensão de
Vapnik-Chervonenkis (V-C), a aplicabilidade depende de
muitos fatores;
O que resulta em métodos, muitas vezes, empı́ricos;
Na seção especı́fica do modelo MLP isso será mais
discutido;
27 / 53
Introdução
Aprendizagem
O modelo MLP
Associação de padrões;
Reconhecimento de padrões;
Controle;
Aproximação de funções;
Formação de feixe;
Filtragem;
28 / 53
Introdução
Aprendizagem
O modelo MLP
Associação de padrões
Pode ser de dois tipos distintos: auto-associação e

heteroassociação;
Na auto-associação a rede decide onde alocar os
elementos;
Na heteroassociação os exemplos apresentados a rede já
possuem suas classes definidas;
Em ambos os casos, tem-se como objetivo a associação
de classe a um dado incompleto ou corrompido;
29 / 53
Introdução
Aprendizagem
O modelo MLP
Reconhecimento de padrões
No reconhecimento de padrões os dados apresentados à

rede para reconhecimento são sempre completos;
Neste caso o treinamento deve ser realizado de maneira
supervisionada;
O treinamento, no entento, é feito sobre uma amostra da
população de dados;
Neste caso, o objetivo é reconhecer um padrão utilizando
um dado completo;
30 / 53
Introdução
Aprendizagem
O modelo MLP
Aproximação de funções
A aproximação de funções é outro dos principais usos;

Neste caso, um vetor contendo as entradas de uma função
desconhecida e um vetor contendo os resultados desta
mesma função que são apresentados;
A aprendizagem, nesse caso, é costumeiramente
supervisionada;
A rede, após ter sido treinada adequadamente é então
capaz de reproduzir a função;
Este processo é ideal para ajuste por correção de erro;
31 / 53
Introdução
Aprendizagem
O modelo MLP
Demais tarefas
Tarefas de controle estão ligadas a sistemas ou processos
que devem ser mantidos em condições estáveis;
Pode ser feito tanto com uma aprendizagem
supervisionada quanto sem supervisão;
tarefa de filtragem, por sua vez, está associada a extração
de informação a partir de dados com ruı́do ou poluı́dos
Algumas de suas aplicações são, por exemplo,
data-mining, suavização e até previsão;
Aqui também a aprendizagem pode ser feita tanto se
maneira supervisionada quanto não supervisionada;
A formação de feixe é um caso especial da filtragem;
Neste caso o tipo de filtro utilizado é espacial
[Haykin, 2001];
32 / 53
Introdução
Aprendizagem
O modelo MLP
Os modelos de Redes Neurais
As diferentes combinações entre estes fatores tornam a

quantidade de modelos de Redes Neurais muito vasta;
Alguns autores optam por tratar de grandes modelos e
variações dos mesmos;
Outros, no entanto, tratam cada modelo com suas
respectivas caracterı́sticas, mesmo que muitos modelos
possuam poucas diferenças;
De qualquer forma, um modelo que se destaca é o modelo
do percéptron de múltiplas camadas, MLP (multi-layer
perceptron);
33 / 53
Introdução
O modelo MLP
Multi-layer perceptron)
O modelo MLP é, muito provavelmente, o mais utilizado

modelos de Redes Neurais;
Isso se deve a certas caracterı́sticas gerais;
E também a facilidade de, com pequenas alterações, o
modelo ganhar um nova roupagem;
Muitos modelos são decorrentes de variações do modelo
MLP e, apesar de alguns autores os tratarem como
diferentes modelos, aqui serão tratados como
semelhantes;
34 / 53
Introdução
O modelo MLP
As caracterı́sticas
O modelo MLP trata-se de uma rede alimentada adiante;

Tem ao menos uma camada oculta;
Caracteriza-se pela utilização do algoritmo back
propagation ou alguma variação;
Trata-se de uma evolução natural do perceptron de
Rosenblatt;
Trabalha com aprendizagem supervisionada;
Erro como principal forma de ajuste sináptico;
35 / 53
Introdução
O modelo MLP
As vantagens
Modelo largamente utilizado para um diversidade de

funções: séries temporais, regressão, reconhecimento de
padrões,...
Possui funções prontas na maior parte, senão todos, os
pacotes estatı́sticos/matemáticos;
Alto poder preditivo/ajuste ou baixo erro de
interpolação/extrapolação;
36 / 53
Introdução
O modelo MLP
As desvantagens
Modelo caixa-preta: foco nas previsões, predições. Não

interpretável;
Exige conjuntos de dados relativamente extensos;
Alta demanda computacional, mesmo em modelos mais
simples;
Modelo aleatório: necessita de repetidas modelagens;
Grande quantidade de fatores ajustados pelo usuário;
37 / 53
Introdução
O modelo MLP
A arquitetura
38 / 53
Introdução
O modelo MLP
O fluxo de sinais
39 / 53
Introdução
O modelo MLP
A Operacionalização
O modelo MLP constitui-se de duas camadas definidas

pelo problema em questão (entrada e saı́da);
E a camada (ou camadas) oculta definida pelo
pesquisador;
A camada de entrada define-se pela quantidade, e tipo, de
informação que temos disponı́vel, semelhante as variáveis
regressoras;
A camada de saı́da corresponde ao tipo de resposta que
pretendemos obter, semelhante a variável resposta;
À camada oculta cabe o papel de conectar estas duas
camadas de forma a minimizar o erro;
40 / 53
Introdução
O modelo MLP
A Operacionalização
Talvez a forma mais simples de se entender um modelo

MLP seja comparar ao modelo linear;
Ou seja, a interação de a camada de entrada (X ) e a
camada oculta (B) vai resultar na camada de saı́da (Y ).
O bias funciona no modelo como um equivalente a
constante do modelo linear;
41 / 53
Introdução
O modelo MLP
As partes
O modelo é constituı́dos de camadas de neurônios

conectados por sinapses;
Uma camada é uma coleção de, ao menos, um neurônio;
Cada neurônio recebe e/ou emite, ao menos, uma
sinapse;
Cada neurônio é constituı́do de um somatório das
sinapses que recebe e um peso sináptico das sinapses
que envia;
42 / 53
Introdução
O modelo MLP
As partes
A camada de entrada, por exemplo, possui neurônios que

apenas enviam sinapses;
A camada de saı́da apenas recebe sinapses;
Estas sinapses de entrada são combinadas de maneira
aditiva (somatório) e submetidas a uma função de
transição quando enviadas;
A função de transição também pode ser definida pelo
usuário;
43 / 53
Introdução
O modelo MLP
44 / 53
Introdução
O modelo MLP
As variações
Estas caracterı́sticas podem sofrer pequenas variações;

Normalmente, em aplicações, escolhe-se a função de
transição (ou ativação) de acordo;
A quantidade de neurônios na camada oculta, assim como
a quantidade de camadas ocultas, aumenta com a
complexidade do problema;
45 / 53
Introdução
O modelo MLP
O ajuste do modelo
Decidida arquitetura geral da rede e sua conexões e

funções, devemos ajsutar os parâmetros;
O modelo assume pesos iniciais aleatórios e então os
ajusta de acordo com os padrões de treinamento
apresentados;
A fase de treinamento é onde os parâmetros do modelo
são ajustados, similar a estimação de parâmetros em
modelos estatı́sticos;
46 / 53
Introdução
O modelo MLP
Contudo, devido a inicialização aleatória dos pesos, o

modelo acaba tendo de ser ajustado diversas vezes;
Uma metodologia utilizada é a validação cruzada de
n-grupos, ou a n-fold cross validation;
Esta metodologia busca facilitar a apresentação do
modelo;
47 / 53
Introdução
O modelo MLP
Validação cruzada
Inicialmente decide-se em quantos grupos os dados serão

separados. Vamos supor 10, ou ten-fold cross validation;
Neste caso, o conjunto é separado em 10 partes iguais,
enumeradas sequencialmente;
O modelo então é ajustado utilizando-se 9 destas partes e
testado na parte que ficou de fora;
Repete-se até que todas as partes tenham sido utilizadas
para teste;
Costumeiramente apresenta-se a média dos EQM das
repetições; mas outras alternativas podem ser utilizadas;
48 / 53
Introdução
O modelo MLP
Os problemas mais comuns
Vários problemas costumam surgir na modelagem pelo

MLP;
Desde a decisão de qual função de transição utilizar;
A quantidade e tamanho da camada oculta;
Inclusive o tamanho das camadas de entrada e saı́da;
49 / 53
Introdução
O modelo MLP
Os problemas mais comuns
Para boa parte dos casos, ainda hoje, os métodos e

metodologias utilizados são muito empı́ricos;
Grande parte dos modelos ainda é obtido por tentativa e
erro ou por buscas automáticas visando a minimização do
erro de previsão/predição;
Inclusive no treinamento do modelo;
O MATLAB, por exemplo, utiliza uma critério chamado de
parada antecipada, o early stoping;
Usando este método, submete-se a conjunto de treino e o
conjunto de previsão. O ajuste se encerra quando o erro
de previsão é maior que o erro de ajuste, por exemplo;
50 / 53
Introdução
O modelo MLP
O objetivo desta palestra era apresentar um breve

histórico;
Assim como algumas caracterı́sticas de Redes Neurais;
E, também, divulgar o curso que deverá ser oferecido em
2017/1 sobre este tópico;
Redes Neurais oferecem um vasto campo de utilização,
indo desde a obtenção de modelos;
A técnicas voltadas a IA, data-mining, entre outros;
51 / 53
Introdução
O modelo MLP
Há, também, um vasto campo de opções para pesquisa;

Novas metodologias e técnicas são desenvolvidas
atualmente;
Muitas destas técnicas são fortemente embasadas em
conceitos estatı́sticos;
Como aprendizado de máquina, técnicas de treinamento
de redes, inclusive a própria elaboração de novos
modelos.
52 / 53
Introdução
O modelo MLP
Referências
De, Wilde, P. (1997).

Neural networks models.
Springer-Verlag, New York, 2nd edition.
Haykin, S. (2001).
Redes neurais.
Bookman, Porto Alegre, 2 edition.
Müller, B., Reinhardt, J., and Strickland, M. T. (1995).
Neural networks.
Springer-Verlag, New York, 2nd edition.
53 / 53

Apresentação Semanística 2016

Enviado por

Dados do documento

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Apresentação Semanística 2016

Enviado por

Direitos autorais:

Formatos disponíveis

Introdução

Modelos de Redes Neurais

Introdução a Modelos de Redes Neurais

João Henrique Ferreira Flores

IME-UFRGS - Departamento de Estatı́stica

Redes Neurais Artificiais

Inicialmente tratadas como Redes Neurais Artificiais

Uma RNA segue esta seqüência: neurônios - sinapses;

O primeiro modelo de RNA data de 1943, por Warren

onde ni = 0, 1, wij representa os pesos sinápticos (ou

Com esse modelo, a rede neural é completamente

ni (t + 1) = θ(hi (t) − ϑi ), (2)

Para McCulloch e Pitts esta rede neural poderia resolver

Em 1949, com a publicação do livro de Hebb, é

Finalmente, em 1982, um artigo de Hopfield, é

As RNAs, recentemente, passaram a ser tratadas apenas

Algoritmos de aprendizagem, também chamados de

A arquitetura da rede é a forma pela qual os neurônios se

Redes alimentadas adiante com camada única

É considerado o mais simples modelo de rede;

Redes alimentadas adiante com camada única

Redes alimentadas adiante de múltiplas camadas

Este é o modelo mais conhecido de rede neural;

Redes alimentadas adiante de múltiplas camadas

Esta arquitetura de rede se diferencia das anteriores por

Além de se tratar, por si só, uma grande área de

Uma das áreas de Redes Neurais que, provavelmente,

Aprendizagem sem supervisão

Normalmente ligada a associação de padrões;

Aprendizagem com supervisão

Ligada a parte de estimação de funções ou modelagem de

Talvez um dos principais problemas no uso de Redes

Para traçar um paralelo, mesmo que não ideal, podemos

Por se tratarem de modelos não paramétricos, do ponto de

Pode ser de dois tipos distintos: auto-associação e

No reconhecimento de padrões os dados apresentados à

A aproximação de funções é outro dos principais usos;

Os modelos de Redes Neurais

As diferentes combinações entre estes fatores tornam a

O modelo MLP é, muito provavelmente, o mais utilizado

O modelo MLP trata-se de uma rede alimentada adiante;

Modelo largamente utilizado para um diversidade de

Modelo caixa-preta: foco nas previsões, predições. Não

O modelo MLP constitui-se de duas camadas definidas

Talvez a forma mais simples de se entender um modelo

O modelo é constituı́dos de camadas de neurônios

A camada de entrada, por exemplo, possui neurônios que

Estas caracterı́sticas podem sofrer pequenas variações;

Decidida arquitetura geral da rede e sua conexões e

Contudo, devido a inicialização aleatória dos pesos, o

Inicialmente decide-se em quantos grupos os dados serão

Os problemas mais comuns

Vários problemas costumam surgir na modelagem pelo

Os problemas mais comuns

Para boa parte dos casos, ainda hoje, os métodos e

O objetivo desta palestra era apresentar um breve

Há, também, um vasto campo de opções para pesquisa;

De, Wilde, P. (1997).

Você também pode gostar