CNN

Msc. Cristian Muñoz

Full Connected Layer
features=200

224x224x3
??
Full Connected Layer
features=200

# parâmetros que serão otimizados??

224x224x3
??
 pad=0
CNN Layer kernel = 5x5x3
features=64
stride = 1

224x224x3
??x??x??
 pad=0
CNN Layer kernel = 5x5x3
features=64
stride = 1

# parâmetros que serão otimizados??

224x224x3
??x??x??
 pad=0
CNN Layer kernel = 5x5x128
features=256
stride = 2

224x224x128
??x??x??
 pad=0
CNN Layer kernel = 5x5x128
features=256
stride = 1

224x224x128
??x??x??
 pad=???
CNN Layer kernel = 5x5x128
features=256
stride = 1

224x224x128
224x224x??
 pad=0
CNN Layer kernel = 1x1x64
features=10
stride = 1

224x224x64
224x224x??
 pad=0
Pool Layer pool_size = 2
strides = 1

224x224x3
??x??x??
 pad=0
Pool Layer pool_size = 2
strides = 1

# parâmetros que serão otimizados??

224x224x3
??x??x??
Batch Normalization (BN)
A rede Neural converge em menor tempo se as entradas são normalizadas
(mean=0, variance=1).

A normalização pode ser feita a nível das camadas ocultas.

Acelera o treinamento + menos sensitivo à inicialização + melhora a regularização

AlexNet (2012)
Similar a LeNet:
- É um modelo maior (60,000,000 params)
- Implementação em GPU (50x speedup over CPU)
- Treino com 2 GPUs por 1 semana

https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf
VGGNet (2014 - 2nd)
- Usar pequenos filtros, conexões
profundas

- Uma camadas de filtros pequenos

(3x3) são igual de efectivas que uma
camadas de (7x7).

- Maior profundidade, maior não-

linearidade

- Pequenos filtros, menos parametros.

 32
neuronios

Inception module
32 28x28x32
neuronios

28x28x32

28x28x32

28x28x128
GoogleNet Going Deeper with Convolutions Sep 2014

● Rede profundas, com eficiencia computacional

● 22 camadas
● Modulo “Inception” eficiente
● Só 5.000.000 de parametros!
● 12 veces menor que AlexNet
● (ImageNet) 6.7% error
 Dec 2015
ResNet Deep Residual Learning for Image Recognition
Criar uma conta em:

https://nvidia.qwiklab.com

Colocar o e-mail com que foi criada a conta no Drive:

Deep Learning 2018-1 / 17-04 / Alunos.xlsx

Realizar os laboratorios:
- Image Classification with DIGITS (Free)
- Object Detection with DIGITS (Free)
- Image Segmentation with TensorFlow (30 Créditos)
- Livre escolha (Obrigatório) (30 Créditos)