IND2076 - Redes Neurais

Luiz Fernando Cunha Duarte

July 2023

1 Fully Connected Neural Networks

a)
Escolhi a função não linear tanh(x). Os dados foram obtidos do dataset Iris e
foram dividos em dois conjuntos: treino e teste. Usei 30 épocas. Resultados na
Figura 1.

Figure 1: MSE nos conjuntos de treino e teste

b)
Variei o número da camada escondida começando com 5 até 25 neurônios (com
passo de tamanho 1). O melhor modelo tem 17 neurônios na camada escondida.
Resultados na Figura 2.

1
 Figure 2: MSE nos conjuntos de treino e teste variando a hidden layer

c)
Utilizando o melhor modelo encontrado acima(17 neurônios na camada escon-
dida), modifiquei a função perda para considerar regularização dos parâmetros,
treinando-o por mais 30 épocas. Resultados na Figura 3.

2
 Figure 3: MSE do melhor modelo nos conjuntos de treino e teste

2 Convolutional Neural Networks

a)
Realizei 50 previsões utilizando o modelo e obtive uma acurácia de 98%. Resul-
tado na figura 4.

Figure 4: Acurácia do modelo pré-treinado em 50 amostras

b)
Utilizando todos os dados do conjunto de teste obtive uma acurácia de 94.23%.
Resultado na figura 5.

Figure 5: Acurácia do modelo pré-treinado no conjunto de teste

3
c)
Nessa questão, testei os valores de ϵ ∈ {0.001, 0.01, 0.1, 1}. A ideia do exercı́cio é
verificar se a introdução de um ruı́do nos dados de treino pode tornar o modelo
mais robusto. Isso porque dessa forma a rede não poderia mais de basear em
pixeis arbitrários (evitar overfitting). Infelizmente tomei erro de StackOverflow
e não tenho os resultados.

d)
Introduzir imagens com ruı́do no conjunto de treino é uma das maneiras de se
proteger contra esse ataque.

4
3 Recurrent Neural Networks
a)
Escolhi a série temporal Air Passengers 1 . Destinei 70% dos dados para o con-
junto de teste e o restante para o conjunto de treinamento. Além disso, apliquei
a transformação log na série e em seguida tirei a primeira diferença.

b)
Código do treinamento em anexo.

c)
O treinamento ocorreu do modo esperado, pode-se observar um erro um pouco
maior no conjunto de teste. Porém, o comportamento dos erros parece ter
estabilizado.

Figure 6: Evolução do erro com o número de épocas

d)
Fiz as previsões para o conjunto testes considerando a série transformada. O
resultado pode ser visto na figura 7.

1 Disponı́vel em: https://www.kaggle.com/datasets/rakannimer/air-passengers

5
Figure 7: Previsões para o conjunto teste