Orientador: Prof. Dr. Luiz Eduardo Soares de Oliveira Programa de Ps-Graduao em Informtica Departamento de Informtica UFPR http://www.inf.ufpr.br/aghochuli/caffe/
Redes Neurais
Neurnio Artificial - Vetor de Caracteristcas - Pesos - Bias - Funo de Ativao
Funes de Ativao - Dado uma entrada, define um estado para o neurnio.
Redes Neurais Convolucionais
Redes Neurais
Funes de Ativao
Rede Neural Artificial (MLP)
Redes Neurais Convolucionais
Redes Neurais
Problema: Como determinar a probabilidade de cada classe na
camada de sada da rede neural ?
Redes Neurais Convolucionais
Redes Neurais
Funo SoftMax - Normaliza entre 0 e 1 as sadas, em um problema multi-classes, obtidas por um classificador linear (Ex: Neurnios). - Aplicada na camada de sada da rede (output layer). - Objetivo: Definir a probabilidade de uma classe dentro de um problema multiclasses
Representao dos dados em diferentes nveis de abstrao
Extrao de Caractersticas Implcita
Elevada quantidade de parmetros (Ajuste por BackProgation)
Necessita de um grande nmero de exemplos para o aprendizado eficiente
O aprendizado voltado para compreenso pela mquina, ou seja, os dados
so de dficil compreenso/visualizao humana Vasta aplicao na rea de Viso Computacional (processamento de udio, imagens, vdeo, etc).
Redes Neurais Convolucionais
Feature Extraction X Deep Learning
Redes Neurais Convolucionais
Deep Learning Vanish Gradient Problem
Problema do desaparecimento do gradiente e convergncia da rede Valores de entrada mapeados em gradientes pequenos Ativao por Sigmoid [ 0 1 ] ou Tangh [-1 1] Variao pequena
Agrava ao longo de uma rede mltiplas camadas
Uma mudana de valores na entrada, pouco altera as camadas mais distantes
Sigmoid/Tanh [-1,1] = Aprendizado Lento / Custo computacional mais alto (expoentes e multiplicaes) RELU [0,] = Aprendizado Rpido / Custo computacional mais baixo (threshold)
Redes Neurais Convolucionais
Redes Neurais Convolucionais
Inspiradas no modelo biolgico da viso
Conceito de Deep Learning (Multi-Camadas)
Idealizada no nicio do anos 90 [Lecun], e vasta aplicao aps 2006 devido a
popularizao de GPU's (Custo ~$ 3000,00) Treinamento requer alto custo computacional e numerosa base de dados
Redes Neurais Convolucionais
Redes Neurais Convolucionais
Compostas de duas grandes etapas:
Extrao de Caractersticas pelas Camadas Convolucionais Classificao
Redes Neurais Convolucionais
Tipos de Camadas (Layers)
Convolucional : Definem os filtros (Aprendizado / BackPropagation)
Ativao: Neurnios (Relu / Sigmoid / TangH)
Pooling : Reduzem as escalas (Max, Median, etc..)
Fully-Connected (FC): Camada que determina as classes (Classificador)
Redes Neurais Convolucionais
Extrao de Caractersticas
Transforma uma imagem em um vetor de caractersticas
Sequncia de Convolues, Ativao e Pooling's Convolues: altera a representao dos dados e aprende os filtros Pooling: reduz a escala para o prximo layer Como ?
Pesos dos filtros so calculados automaticamente (BackPropagation)
Cada filtro aprendido um extrator de caractersticas
Cada imagem resultante de um filtro um mapa de caractersticas
Os pooling's so necessrios para reduzir a quantidade de caractersticas por
Treinamento Inicializao dos filtros e FC (Random Const Gaussian Xavier) Fase de Aprendizado (Pode demorar horas ou dias dependendo da configurao da rede) Validao e Backpropagation Armazenamento dos pesos e filtros ao longo do processo
Teste da CNN Utiliza os filtros e pesos da poca definida
Redes Neurais Convolucionais
Treinamento
Desempenho do Aprendizado para diferentes Learning Rates
Rede IDEAL Apredizado em poucas pocas
Redes Neurais Convolucionais
Data Augmentation
O que fazer se houver poucos exemplos na base ? Ou pouca
variabilidade de uma mesma classe ? Amostra
Data Augmentation Ampliao do nmero de amostras modificando a amostra original: Translaes Rudos Brilho / Contraste Flip's Smooth's
Primeira CNN implementada e testada com sucesso (Bell Labs)
Reconhecimento de Dgitos Manuscritos
MNIST DATASET (10 Classes [#0....#9]) 60 K Treinamento 10 K Teste
0.95% (erro) ~ 345 K de conexes ~ 60 K parmetros
Redes Neurais Convolucionais
LENET X ESTADO DA ARTE (1998)
Redes Neurais Convolucionais
LENET Filtros por Camada
Resistncia a rudos, inclinao e
formatao Redes Neurais Convolucionais
ALEXNET
Alex Krizhevsky 2012 (Krizhevsky Net)
Imagenet 2012 Challenge (1000 classes) 1.2 M Treinamento 50 K Validao 150 K Teste Vencedor (erro 15.3% - Top 5) 2 SIFT Based (26.2%) Redes Neurais Convolucionais
1.2 M Treinamento 50 K Validao 100 K Teste Vencedor (erro 6.67% - Top 5) 2 CNN Based (7.32%) e 3 CNN Based (7.35%) http://www.cs.unc.edu/~wliu/papers/GoogLeNet.pdf
Redes Neurais Convolucionais
GOOGLE NET
Inceptions: 256 filtros at 1024 filtros
Redes dentro de Redes !
Inceptions
Custo computacional apenas 2x mais
que AlexNet
256
480
480
512
512
512
832
Redes Neurais Convolucionais
832 1024
GOOGLE NET
Redes Neurais Convolucionais
Imagenet Challenge
Evoluo (reduo de erro) em casos complexos em apenas 2 anos !!
Redes Neurais Convolucionais
Imagenet Challenge
AlexNet x GoogleNet (Poseidon FrameWork)
Redes Neurais Convolucionais
GOOGLE NET DREAMS
Imagem Entrada
Redes Neurais Convolucionais
GOOGLE NET DREAMS
Porque apareem ces nas imagens ?
Em 2012, o google utilizou uma parte da Imagenet,
para treinar sua rede. Esse subset era composto por imagens de ces apenas. Ento a rede aprendeu a extrair caractersticas com base em ces !
TRANSFER LEARNING !!
Redes Neurais Convolucionais
FrameWork CAFFE DEEP LEARNING
Implementao C++ / CUDA (GPU)
Python Interface
SITE: http://caffe.berkeleyvision.org/
Tutorial de Instalao: http://www.inf.ufpr.br/aghochuli/caffe/ http://caffe.berkeleyvision.org/installation.html
![Catalogo de Motores ABNT_ind1 Dt[1]](https://imgv2-2-f.scribdassets.com/img/document/245374880/149x198/d89253238f/1415027054?v=1)
