UNIVERSIDADE FEDERAL DO RIO GRANDE DO NORTE

DISCIPLINA: REDES NEURAIS -POS

2 ª LISTA DE EXERCÍCIO _POS - 2018.1

1-) Considere o problema de classificação de padrões constituído de duas classes com os

seguintes conjunto de treinamentos:
C1  {( 0,0,0), (1,0,0), (1,0,1), (1,1,0)} e C2  {( 0,0,1), (0,1,1), (0,1,0), (1,1,1)} . Determine o hi-
perplano de separação dos padrões considerando os seguintes métodos:
a-) Algoritmo do perceptron de Rosemblat
b-) Máquina de Vetor de Suporte Linear.

Compare os resultados obtidos.

2-) Implemente os seguintes algoritmos:

a-) algoritmo da retropropagação em modo padrão e com o termo de momento, assumindo
que as funções de ativação das camadas ocultas são funções tangentes sigmóides.
b-) algoritmo da retropropagação em modo por lote

3- ) Aplique os algoritmos implementados na questão anterior na aproximação das funções

abaixo. Compare a aproximação obtida com a rede neural com os resultados exatos. Apre-
sente para cada caso a curva do erro médio de treinamento com relação ao número de épo-
cas e a curva do erro médio com o conjunto de validação. Faça uma análise comparativa
sobre a convergência de cada um dos algoritmos e compare também com os algoritmos:
gradiente conjugado e Marquand – Levemberg (utilize neste caso algoritmos disponíveis
em toolbox).

a) a função lógica f ( x1 , x2 , x3 )  x1  x2  x3
b) a função real
 cos(2x1 )  cos(2x2 ) 
f ( x1 , x2 )   sen (x ) / x 
 1  (4 x ) 2 sen (x ) / x   4  x1  4  4  x2  4
 2 1 1 2 2
 1 ( 4 x1 )  2 

c) a função real (combinação de gaussianas)

1  1  x 
f (x)  1 / 2 i 1
3
exp   (x  m i ) t C 1 (x  m i )  , x   1  ,
2 | C |  2   x2 
0 0.5  0.5 1 0
m 1   , m 2   , m 3    ,C   
0 0.5  0.5 0 1

4-) Considere o problema de classificação de padrões bidimensionais constituído neste

caso de 2 padrões. A distribuição dos padrões tem como base um quadrado centrado na
origem interceptando os eixos nos pontos +1 e -1 de cada eixo. Os pontos +1 e -1 de cada
eixo são centros de quatro semicírculos que se interceptam no interior do quadrado origi-
nando uma classe e a outra classe corresponde as regiões de não interseção. Após gerar
aleatoriamente os dados que venham formar estas distribuições de dados, selecione um con-
junto de treinamento e um conjunto de validação. Solucione este problema considerando:

a-) Um rede perceptron de múltiplas camada

b-) Uma máquina de vetor de suporte (SVM)

Apresente o desempenho dos classificadores usando o conjunto de validação e calculando

para cada um a matriz de confusão.

5- ) Um problema interessante para testar a capacidade de uma rede neural atuar como clas-
sificado de padrões é o problema das duas espirais intercaladas. A espiral 1 sendo uma clas-
se e a espiral 2 sendo outra classe. Gere os exemplos de treinamento usando as seguintes
equações:
para espiral 1 x  4 cos  y  4 sen   0
para espiral 2 x  ( 4  0.8) cos  y  ( 4  0.8) sen   0
fazendo  assumir 100 igualmente espaçados valores entre 0 e 20 radianos. Solucione este
problema considerando:

a-) Um rede perceptron de múltiplas camada

b-) Uma máquina de vetor de suporte (SVM)
c-) Uma rede Deep Learning

Verifique o desempenho dos classificadores usando o conjunto de validação e calculando a

matriz de confusão para cada classificados. Para comparar as regiões de decisões formadas
pela rede, gere uma grade uniforme com 100 x 100 exemplos de teste em um quadrado
[-5,5]. Esboce os pontos classificados pela rede.

6-) Considere o problema de predição de uma série temporal definida como

x(n)  v(n)  v(n  1)v(n  2) , com média zero e variância dada por

 x2  v2   2 v2onde v(n) é um ruído branco gaussiano com média zero e vari-

ância unitária. O parâmetro   0.5 . Utilizando uma rede perceptrons de múltiplas camadas
calcule a predição de um passo, isto é x(n+1), usando como entradas os seis últimos valo-
res da série.
Utilize 1000 amostras por época e 100 épocas. Trace a curva da série e curva de predição
em função em função de n. Trace também o erro de predição. Calcule a variância da predi-
ção e compare com a variância da série temporal.

8 -) Considere o problema de reconhecimento de padrões constituído neste caso das vogais

do alfabeto. Treine uma rede neural convolutiva capaz de realizar a classificação mesmo
que as vogais apresentem ruído ou pequenas rotações. Avalie o desempenho da rede calcu-
lado a matriz de confusão.

Trabalho

Escolha um dos trabalhos abaixo:

1-) Pesquise sobre os métodos de determinação da arquitetura de uma rede neural percep-
tron de múltiplas camadas e apresente um algoritmo para esta finalidade.

2-) Desenvolva um trabalho sobre Deep Learnig aplicada na classificação de padrões em

imagens focando nas redes convolutivas.

3-) Projete uma Máquina de Comitê heterogênea constituída por três máquinas para detectar
spam.

Data de entrega: 19/05/2018

A entrega e apresentação dos trabalhos correspondem a um processo de avaliação. Portanto

a presença é obrigatória.

O trabalho e a lista podem ser feitos em grupo de até três componentes.

Na apresentação os componentes serão submetidos a questionamentos sobre a solução da

lista e o desenvolvimento dos trabalhos.