Projeto final

IA006 - Tópicos em Sistemas Inteligentes II - Aprendizado de Máquina Campinas, 01 de julho de 2019

Gerando dígitos escritos a mão com redes generativas adversariais

Ali Salim Faraj, Leonardo Rodrigues Da Costa
Departamento de Engenharia de Computação e Automação Industrial (DCA)
Faculdade de Engenharia Elétrica e de Computação (FEEC)
Universidade Estadual de Campinas (Unicamp)
CEP 13083-852 – Campinas, SP, Brasil
l146895@dac.unicamp.com , a145135@g.unicamp.br

Abstract – Generative Adversarial Networks (GANs) are being widely used in machine learning for the creation
of new images based on a given dataset. GANs have two main components: a discriminator (D), a binary classifier
that learns to recognize and differentiate the data set images from "fakes"; and a generator (G) that learns to create,
from random noise, images that pass the D’s criteria. This project aims to compare the original GAN implementation
and a recent implementation, called Relativistic GAN. The networks were trained using the MNIST handwritten
digits database and used to successfully create new images.
Keywords – Keras; Python; Generative Adversarial Networks; Relativistic GAN; MNIST

1. Introdução D. Então a cada iteração D fica melhor em distin-

O termo rede generativa adversarial ou, no inglês,
Generative Adversarial Network (GAN) se refere a
classe de algoritmos de geração derivadas da pro-
posta inicial de Goodfellow [1]. Com GANs, pode-
mos gerar novos elementos que reproduzem as cara-
terísticas daqueles pertencentes a um dado dataset.
GANs apresentam facilidade conceitual para sua
implementação e apresentam se refere a classe de
algoritmos de geração derivadas da proposta inicial
de Goodfellow [1]. Com GANs, podemos gerar no-
vos elementos que reproduzem as caraterísticas da-
queles pertencentes a um dado dataset. GANs apre-
sentam facilidade conceitual para sua implementa-
ção e apresentam bons resultados para reproduzir
dados conhecidos de maneira diversificada. Por es-
tes motivos, encontramos as mais diversas aplica-
ções de GANs [2], como na geração de imagens de
rostos humanos [4], animais e paisagens; replicação
de sons urbanos e vozes; no aumento artificial da
resolução de imagens [5].
O principio por trás de uma aplicação GAN
é um "jogo"entre duas redes neurais: o discrimina-
dor (D) e o gerador (G). D é um classificador biná-
rio treinado com um dataset para aprender a distin-
guir se algum dado pertence ou não ao dataset. G é
treinado para transformar um input aleatório (como
ruído branco) em um dado que consiga enganar D.
Consideremos uma analogia em que G se-
ria um falsificador de obras de arte tentando enganar
D (aqui um detetive especialista em falsificações),
cujo dever é julgar se uma obra é verdadeira ou
falsa. Um problema para nosso falsificador G é que
ele não conhece a obra que deve falsificar, as únicas
instruções que tem são os julgamentos do detetive
guir uma obra verdadeira de uma falsa, e G aprende
a fazer falsificações melhores a partir dos julgamen-
tos de D.
1.1. Ciclo de treinamento
Um ciclo completo do GAN é separado em duas eta-
pas. A primeira etapa é o treinamento do discrimi-
nador D:
Figura 1. Treinamento de D
• Selecionamos aleatoriamente um mini-
batch de n amostras do dataset de treino e
as etiquetamos como "1".
• Com G, geramos outro mini-batch de n
amostras com etiquetas "0". Aqui vale res-
saltar que G tem o mesmo numero de nós
de saída que a entrada de D.
• Combinamos esses mini-batches para o
treinamento de D, que a cada amostra
otimiza os parâmetros da rede, assim D
aprende a diferenciar uma entrada do data-
set ("1") de uma entrada do G ("0"), mini-
mizando uma função de custo proposta.
Na segunda etapa fazemos o treinamento do gerador
G:
• Congelamos os parâmetros da rede D.
Projeto final
IA006 - Tópicos em Sistemas Inteligentes II - Aprendizado de Máquina
Figura 2. Treinamento de G
• Durante esta etapa só permitimos a otimiza-
ção dos parâmetros da rede G.
• Para que uma entrada em G corresponda em
"1"após percorrer as redes G+D.
• Com G, geramos um mini-batch de n amos-
tras com etiquetas "1"para a rede D e treina-
mos o conjunto G+D.
Assim temos um caso muito parecido com
nossa analogia, a cada ciclo completo D aprende
a discriminar melhor as "falsificações"e G aprende
como "falsificar"melhor.
1.2. GAN de média relativística (RaGAN)
Existe um dilema conceitual na formulação origi-
nal do GAN (chamada daqui pra frente de standard
GAN ou SGAN). Para o treinamento do discrimi-
nador, as imagens do gerador são sempre rotuladas
como falsas. Isso pode ser conflitante quando o ge-
rador aprende a gerar imagens mais parecidas com
o conjunto real, que serão igualmente penalizadas
pelo discriminador. Essa pode ser uma causa de ins-
tabilidade no treinamento, um dos problemas mais
notáveis das redes GANs [7].
O RaGAN (Relativistic avarage GAN), pro-
posto em [3], utiliza uma formulação que busca con-
tornar essa contradição. A função de custo de trei-
namento do discriminador é alterada para que as
imagens originais sejam mais "realistas"do que uma
média de imagens geradas. Para o treinamento do
gerador, o oposto, que as imagens geradas sejam
mais "realistas"do que uma média de imagens ori-
ginais. Dessa forma, o discriminador penaliza mais
as imagens que parecem falsas e menos as que pare-
cem reais, atuando mais como um "crítico". É possí-
vel mostrar que essa formulação tende a trazer mais
estabilidade para o treinamento da rede, comparado
com a formulação original [3].
2. Proposta
O objetivo do nosso projeto foi criar e avaliar a per-
formance de dois tipos diferentes de GAN (con-
Campinas, 01 de julho de 2019
vencional e RaGAN), treinados com a base de da-
dos MNIST, imagens de 28x28 pixels, em escala de
cinza, dos algarismos de 0 a 9, escritos a mão.
3. Metodologia
A implementação foi feita em Python utilizando a
biblioteca Keras. A arquitetura do gerador G é:
• Input aleatório de 100 variáveis aleatórias
gaussianas com média 0 e variância 1.
• Três camadas fully connected com 256, 512
e 1024 neurônios; batch normalization e
função de ativação ReLu.
• Camada de saída com 784 neurônios e fun-
ção de ativação tanh, ao fim a saída é re-
modelada em uma imagem 28x28 pixels.
A arquitetura do descriminador D é:
• Entrada 784 neurônios.
• Duas camadas fully connected com 512
neurônios, função de ativação ReLu e dro-
pout de 20%.
• Camada de saída com 1 neurônio, ativação
sigmóide.
Para o treino foram usados 60000 imagens de 28x28
pixels do MNIST, obtidas pela separação padrão do
conjunto em dados de treinamento (60000 imagens)
e dados de teste (10000 imagens). A arquitetura do
GAN e do RaGAN é a mesma, a diferença é a mo-
dificação da função de custo no treinamento do dis-
criminador, como explicado previamente. Ambos
foram treinados por 100 épocas, com o otimizador
Adam com parâmetros: learning rate = 2e-4, beta1
= 0.5 e beta2 = 0.99. Para ambos, foi escolhido o
critério de minimizar a entropia cruzada.
4. Resultados
Na figura 3, observamos as imagens geradas pelo
SGAN, RaGAN e as imagens originais da database
MNIST. Podemos observar que o SGAN conseguiu
replicar com fidelidade satisfatória os algarismos do
MNIST. Visualmente, notamos que a performance
do RaGAN foi ligeiramente inferior, especialmente
para alguns algarismos (como o 2, 5 e 7). A evo-
lução das imagens dos geradores a partir de ruído
aleatório pode ser visto na figura 4.
Um cenário indesejado no treinamento de
GANs é o caso em que o gerador fica restrito a um
subconjunto do conjunto original de treinamento.
Para avaliar a qualidade e diversidade das imagens
geradas pelos GANs, propomos o seguinte teste.
Projeto final
IA006 - Tópicos em Sistemas Inteligentes II - Aprendizado de Máquina Campinas, 01 de julho de 2019

Figura 3. Dígitos de 0 a 9 originais e gerados. Na primeira linha, exemplos retirados das base de dados
MNIST, na segunda, exemplos gerados pelo SGAN e na terceira, exemplos geradas pelo RaGAN, ambos
após 100 épocas de treinamento.

Inicialmente, treinamos um classificador

com uma rede MLP com o conjunto de treino com-
pleto do MNIST (60000 amostras). A rede MLP
tem a mesma arquitetura utilizada nos discrimina-
dores da GAN, porém, com 10 neurônios na saída.
Esse classificador é capaz de atingir acurácia de
99% e 98% nos conjuntos de treino e teste, respec-
tivamente.
Então, utilizamos esse classificador para ro-
tular as imagens geradas pelo GAN a partir de entra-
das aleatórias. Separamos as imagens em conjuntos
de acordo com o dígito classificado. Figura 4. Treinamento do SGAN e resultados
Escolhemos um número de amostras de do gerador. É possível ver o aprendizado da
rede com a evolução da qualidade das ima-
cada conjunto e formamos um novo conjunto de
gens geradas após a) 0 época, b) 1 época, c) 10
treinamento. Com esse conjunto, treinamos um épocas e d) 100 épocas. Resultados obtidos
novo classificador e medimos a sua acurácia no com RaGAN são visualmente semelhantes.
conjunto de teste do dataset original. Repetimos
esse procedimento utilizando imagens geradas pela com imagens dos GANs não é muito inferior.
SGAN e RaGAN, assim como utilizando imagens
originais do conjunto de treinamento. Realizamos
5. Conclusões
várias configurações diminuindo o número de amos-
tras por classe. Os resultados são apresentados na A implementação e treinamento das redes GANs fo-
tabela 1. ram feitos com sucesso. As imagens geradas são vi-
sualmente satisfatórias. A partir do teste proposto,
Podemos ver que a acurácia dos classifica-
estimamos que as imagens geradas apresentam uma
dores diminui com o número de amostras por classe
diversidade significativa em relação ao conjunto ori-
utilizada, o que é esperado. Com esse teste, busca-
ginal de dados. Ressaltamos que haveria espaço
mos analisar a diferença de utilizar como conjunto
para uma validação mais criteriosa dos GANs, caso
de treinamento amostras originais ou amostras ge-
fosse preciso uma análise mais detalhada dos resul-
radas pelos GANs. Podemos perceber que os classi-
tados [6].
ficadores treinados com imagens dos GANs perfor-
mam ligeiramente pior que os classificadores treina- Por se tratar de um problema de baixa com-
dos com imagens originais. plexidade, não foi possível comparar efetivamente a
formulação original do GAN com a variação relati-
Supomos que isso acontece devido a uma
vística. Consideramos que ambas as redes apresen-
perda de representatividade do conjunto original
taram resultados semelhantes. Para explorar eventu-
para o conjunto de imagens geradas pelo GANs. Por
ais diferenças, sugerimos que sejam utilizados con-
outro lado, estimamos que essa perda seja pequena,
juntos mais complexos que o dataset MNIST, uma
uma vez que a acurácia dos classificadores treinados
vez que a formulação relativística foi proposta para
Projeto final
IA006 - Tópicos em Sistemas Inteligentes II - Aprendizado de Máquina Campinas, 01 de julho de 2019

Amostras (N) MNIST SGAN RaGAN gans. In Advances in neural information pro-
5000 98% 96% 96% cessing systems, pages 2234–2242, 2016.
2000 97% 95% 95%
1000 97% 94% 94% Códigos
500 95% 92% 91%
200 92% 89% 89% Os scripts realizados em Python estão disponibiliza-
100 91% 87% 86% dos em arquivos separados, assim como os modelos
50 86% 85% 85% treinados e algumas das imagens geradas. Gostaría-
20 84% 83% 83% mos de creditar que os nossos scripts foram inspira-
dos pelos seguintes códigos disponibilizados publi-
Tabela 1. Acurácia dos classificadores multi- camente:
classe no conjunto de teste original. Os clas-
sificadores foram treinados com N amostras 1. https://github.
por dígito, com imagens originais (MNIST) ou com/IShengFang/
com imagens geradas pelos GANs (SGAN e
Relativistic-average-GAN-Keras
RaGAN).
2. https://github.com/
eriklindernoren/Keras-GAN
melhorar o desempenho em situações em que há ins- 3. https://keras.io/examples/
tabilidade no treinamento de GANs convencionais. mnist_mlp/
Tentamos explorar o problema com ima-
gens coloridas e maior resolução (dataset CIFAR-
10), porém fomos desencorajados por algumas di-
ficuldades técnicas. As redes MLP não conseguem
bons resultados nesses conjuntos. Conseguimos ob-
ter resultados melhores com redes neurais convolu-
cionais, porém o longo tempo de treinamento dessas
redes em computadores convencionais inviabilizou
uma análise mais detalhada.

Referências
[1] Ian J. Goodfellow. Generative adversarial nets.
arXiv:1406.2661v1 [stat.ML], 2014.
[2] Yongjun Hong. How generative adversarial
networks and their variants work: An overview.
arXiv:1711.05914v10 [cs.LG], 2019.
[3] Alexia Jolicoeur-Martineau. The relativistic
discriminator: a key element missing from stan-
dard gan. arXiv:1807.00734v3 [cs.LG], 2018.
[4] Tero Karras. A style-based generator architec-
ture for generative adversarial networks. ar-
Xiv:1812.04948v3 [cs.NE], 2019.
[5] Christian Ledig. Photo-realistic single image
super-resolution using a generative adversarial.
arXiv:1609.04802v5 [cs.CV], 2017.
[6] Mario Lucic, Karol Kurach, Marcin Michalski,
Sylvain Gelly, and Olivier Bousquet. Are gans
created equal. A Large-Scale Study. ArXiv e-
prints, 2(4), 2017.
[7] Tim Salimans, Ian Goodfellow, Wojciech Za-
remba, Vicki Cheung, Alec Radford, and
Xi Chen. Improved techniques for training