1redes Neurais No Matlab

Redes Neurais
Toolbox de Redes Neurais no MATLAB
http//www.ica.ele.puchttp//www.ica.ele.puc-rio.br/birio.br/bi-master
Introduo ao Matlab

Linha de comando NNTool
Estudo de Casos
Previso
de carga mensal
Anlise de Crdito Bancrio

Ambiente MATLAB
MATLAB MATrix LABoratory Programao baseada em Matrizes Vetores e escalares tambm podem ser considerados matrizes, 1xN, Nx1, 1x1
Tela Principal do MATLAB

Janela de Comando
Janela de Histrico

Launch Pad
Definindo uma Matriz Explicitamente

Elementos de uma linha so separados por espaos ou vrgulas. vrgulas O final de cada linha indicado por um ponto-e-vrgula. vrgula A lista de elementos delimitada por colchetes [ ].
Matrizes no MATLAB
Quadro Melancholia I, do artista alemo e matemtico amador Albrecht Drer
Definindo uma Matriz Explicitamente

No caso do quadrado mgico:
>>
A = 16 5 9 4 3 10 6 15 2 11 7 14 13 8 12 1 A = [16 3 2 13; 5 10 11 8; 9 6 7 12; 4 15 14 1]
Redes Neurais no MATLAB

Duas formas de utilizao:
Linhas de comando e m-files Interface grfica (NNTool)
Passos para a Criao de uma RN

Definir os padres Inicializar a rede Definir os parmetros de treinamento Treinar a rede Testar a rede
O Problema do OU Exclusivo
1
x2
0
x1
X1 0 0 1 1
X2 0 1 0 1
valor 0 1 1 0

Definindo os Padres
X1 0 0
# de linhas = # de variveis # de colunas = # de padres
X2 0 1 0 1
valor 0 1 1 0
1 1
0 0 1 1 Vetor de entrada: P = 0 1 0 1 P = [0 0 1 1; 0 1 0 1]
Vetor de sada:
T = [0 1 1 0]

Inicializando a Rede Neural

Redes Feed-forward: Funo newff
net = newff(
[min(P')' max(P')'], [N_hidden 1], {'tansig' 'logsig'}, 'traingd');
(limites dos padres de entrada) (nmero de neurnios de cada camada) (funo de ativao de cada camada) (algoritmo de treinamento)
Funes de Ativao
purelin logsig tansig satlin(s) Linear Sigmide Tangente hiperblica Linear com saturao
Algoritmos de Treinamento
traingd traingdm traingda traingdx Gradient descent backpropagation Gradient descent backpropagation com momentum Gradient descent backpropagation com taxa adaptativa Gradient descent backpropagation com momentum e taxa adaptativa Levenberg-Marquardt backpropagation (default) Resilient backpropagation (Rprop)
trainlm trainrp

10
Definindo parmetros de treinamento
net.trainParam.epochs = 100; net.trainParam.goal = 1e-8; net.trainParam.lr = 0.01; net.trainParam.show = 25; net.trainParam.mc = 0.9;
Nmero de epochs Erro final desejado Taxa de aprendizado Atualizao da tela (epochs) Taxa de momentum
net.trainParam.lr_inc = 1.05; Taxa de incremento da l.r. net.trainParam.lr_dec = 0.7; Taxa de decremento da l.r. net.trainParam.max_perf_inc = 1.04; Incremento mximo do erro

11
Treinando a Rede Neural
net = train(net, P, T);

12
Testando a Rede Neural
C = sim(net, P);
M-file desenvolvida para o XOR

TESTE 1: 1: Rede neural com apenas uma camada de processadores; PERCEPTRON BSICO
xor1.m
13

TESTE 2: 2: Rede neural com uma camada escondida de processadores (Multi-Layer Perceptron); TAXA de APRENDIZADO CONSTANTE, sem MOMENTUM; MOMENTUM
xor1.m xor2.m

TESTE 3: 3: Rede neural com uma camada escondida de processadores (Multi-Layer Perceptron); TAXA ADAPTATIVA e MOMENTUM; MOMENTUM
xor1.m xor3.m
14
Validao Cruzada
Dividir os padres disponveis em trs conjuntos:
treinamento (70%): matrizes Ptrain, Ttrain validao (20%): matrizes Pvalid, Tvalid teste (10%): matrizes Ptest, Ttest
Validao Cruzada
% Inicializa a rede neural net = newff([min(P')' max(P')'],[10 1],{'tansig' 'logsig'},'traingd'); net.trainParam.goal = 1e-8; % Treina a rede iterativamente, de 5 em 5 epochs, % at o total de 100 epochs, calculando os erros Nepoch = 5; NN = 20; mape_min = 1e38; for i = 1:NN, net.trainParam.epochs = Nepoch; net = train(net, Ptrain, Ttrain); Ctrain = sim(net, Ptrain); Cvalid = sim(net, Pvalid); % Calcula os erros MAPE para os padres de treinamento e validao mape_train(i) = 100*mean(abs((Ttrain-Ctrain)./Ttrain)) mape_valid(i) = 100*mean(abs((Tvalid-Cvalid)./Tvalid))
15
Validao Cruzada
% encontra o nmero de epochs timo if (mape_valid(i) < mape_min) mape_min = mape_valid(i); net_opt = net; Noptim = Nepoch * i; end end % Melhor rede: net = net_opt; % Testa a rede com os 3 conjuntos de padres Ctrain = sim(net, Ptrain); Cvalid = sim(net, Pvalid); Ctest = sim(net, Ptest);
Redes Neurais no MATLAB

Duas formas de utilizao:
Linhas de comando, e m-files Interface grfica (NNTool)
16
Interface Grfica NNTool

Definir os padres Criar a rede Inicializar a rede Definir os parmetros de treinamento Treinar a rede Testar a rede
17
Definindo os Padres
Definindo os Padres
18
Definindo os Padres
Definindo os Padres
19

Criando a Rede Neural
20
Criando a Rede Neural
Visualizando a Rede Neural
21
Visualizando a Rede Neural

22
23

24
25

26
27

28
29
30
Exportando os Dados
31
Exportando os Dados
O Problema do OU Exclusivo
1
x2
0
x1
X1 0 0 1 1
X2 0 1 0 1
valor 0 1 1 0
32
Rede Neural com Camada Escondida
33
34
35
Reconhecimento de Dgitos
36
37
Definio dos Padres de Entrada

0 1 0 0
0 1 0 0 1
1 1 1 1 1
0 0 0 0 1
0 0 0 0 0
1 1 0 0 0 1 0 0 0 1 0 0 1 1 1
http//www.ica.ele.puchttp//www.ica.ele.puc-rio.br/birio.br/bi-master 0

0 1 1 0
0 1 0 0 1
1 0 0 1 1
1 0 1 0 1
0 1 0 0 1
1 0 0 1 0 0 1 0 0 1 0 0 1 1 1
http//www.ica.ele.puchttp//www.ica.ele.puc-rio.br/birio.br/bi-master 1
38

Cada dgito (padro): 20 bits Nmero de padres: 10 dgitos Representao: Matriz 20 x 10
Cada coluna representa um dgito Cada linha representa um bit Cada bit est associado com um neurnio de entrada

0 1 0 0 1 1 0 0 0 1 0 0 0 1 0 0 1 1 1 0 0 1 1 0 1 0 0 1 0 0 1 0 0 1 0 0 1 1 1 1 1 1 1 0 0 0 0 1 0 0 1 0 0 0 0 1 1 1 1 0 1 0 1 0 1 0 1 0 1 1 1 1 0 0 1 0 0 0 1 0 1 1 1 1 1 0 0 0 1 1 1 0 0 0 0 1 1 1 1 0 0 1 1 1 1 0 0 0 1 1 1 0 1 0 0 1 0 1 1 0 1 1 1 1 0 0 0 1 0 0 1 0 0 1 0 0 0 1 0 0 0 1 1 0 1 0 0 1 0 1 1 0 1 0 0 1 0 1 1 0 0 1 1 0 1 0 0 1 0 1 1 1 0 0 0 1 1 1 1 1 0 1 1 0 1 0 0 1 1 0 0 1 1 0 0 1 0 1 1 0
39
Definio dos Padres de Sada

1 0 0 0 0 0 0 0 0 0
Definio dos Padres de Sada

1 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 1
40
Converso dos Arquivos

>> >> >> >> load save load save digitos.txt digitos saidas.txt saidas
Importao dos Dados p/ NNTool
41
42
Definio das Redes

Network name: network15 Tipo: Tipo feed-forward backprop Input Ranges: Ranges Get from input Training Function: Function TRAINGDM Number of layers: layers 2
Layer 1: 1 15 neurons Layer 2: 2 10 neurons TANSIG PURELIN
Definio das Redes

43
Definio das Redes

Treinamento das Redes

Epochs: Epochs Goal (MSE): (MSE) Learning Rate (lr): Momentum: Momentum 10000 0.5e-3 0.1 0.0
44


45


46
Teste das Redes
1 bit errado
2 bits errados
3 bits errados
Introduo ao Matlab

Estudo de Casos
Previso
de carga mensal

47
Previso de Carga Mensal

Objetivo: previso, um passo a frente, da demanda mensal da CEMIG, variando os seguintes parmetros: Janela: Janela 3, 6 e 12 valores passados; Codificao do Ms: Ms
Uma entrada real Codificao 1 de N = 12 entradas binrias Codificao binria = 4 entradas binrias
Topologia: Topologia Variar o nmero de processadores na camada escondida; Treinamento: Treinamento Variar o nmero de ciclos.

-
n Valores Passados (janela de entrada)
Valor Previsto Da Carga Codificao Do Ms

i
48

Arquivo ZIP: ZIP RN-Previso Carga Mensal Contm os seguintes arquivos:
verif.txt dados de vrias concessionrias cemig.txt dados mensais da CEMIG layout.doc informaes sobre o significado das colunas dos arquivos de dados trb2.m arquivo principal trb2_dados l o arquivo cemig.txt trb2_padroes gera os padres de treinamento e teste, de acordo com a janela e codificao do ms trb2_treinamento efetua o treinamento em si
Previso de Srie Temporal Carga Mensal da CEMIG

Configurao 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 Janela 3 3 3 3 3 3 6 6 6 6 6 6 12 12 12 12 12 12 Codificao Real 12 bits 4 bits Real 12 bits 4 bits Real 12 bits 4 bits Real 12 bits 4 bits Real 12 bits 4 bits Real 12 bits 4 bits
Nmero de Neurnios 2 2 2 3 3 3 4 4 4 7 7 7 8 8 8 12 12 12
pocas 2500 2500 2500 2500 2500 2500 3500 3500 3500 3500 3500 3500 3500 3500 3500 3500 3500 3500
MAPE 3.6061 2.9252 3.6530 1.9480 4.2073 2.1502 2.4030 1.5994 2.6311 3.0201 3.2143 2.7644 2.6473 1.9062 3.4298 4.1001 3.3920 2.8125
RMSE 0.0411 0.0346 0.0416 0.0245 0.0505 0.0331 0.0284 0.0211 0.0312 0.0382 0.0383 0.0323 0.0309 0.0236 0.0403 0.0504 0.0367 0.0365
UTHEIL 1.5520 1.3152 1.5715 0.8989 1.8244 1.1775 1.0603 0.7559 1.1401 1.3665 1.3671 1.1981 1.1177 0.8633 1.5270 1.7920 1.3332 1.3141
49
Previso de Srie Temporal Carga Mensal da CEMIG JANELA = 3

Configurao 1 2 3 Janela 3 3 3 Codificao Real 12 bits 4 bits Nmero de Neurnios 2 2 2 pocas 2500 2500 2500 MAPE 3.6061 2.9252 3.6530 RMSE 0.0411 0.0346 0.0416

50


51


52
Previso de Srie Temporal Melhores Resultados

Configurao 4 8 14 Janela 3 6 12 Codificao Real 12 bits 12 bits Nmero de Neurnios 3 4 8 pocas 2500 3500 3500 MAPE 1.9480 1.5994 1.9062 RMSE 0.0245 0.0211 0.0236 UTHEIL 0.8989 0.7559 0.8633
Previso de Srie Temporal Carga Mensal da CEMIG

Configurao 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 Janela 3 3 3 3 3 3 6 6 6 6 6 6 12 12 12 12 12 12 Codificao Real 12 bits 4 bits Real 12 bits 4 bits Real 12 bits 4 bits Real 12 bits 4 bits Real 12 bits 4 bits Real 12 bits 4 bits
Nmero de Neurnios 2 2 2 3 3 3 4 4 4 7 7 7 8 8 8 12 12 12
pocas 5000 5000 5000 5000 5000 5000 5000 5000 5000 5000 5000 5000 5000 5000 5000 5000 5000 5000
MAPE 3.5908 2.4527 3.6750 3.5011 2.1925 3.1511 1.9804 3.3649 2.3429 1.6406 3.2677 2.2666 2.4379 2.3132 2.1552 3.2193 3.3211 1.8085
RMSE 0.0396 0.0273 0.0420 0.0395 0.0251 0.0369 0.0283 0.0369 0.0303 0.0203 0.0352 0.0301 0.0278 0.0312 0.0273 0.0368 0.0403 0.0193
UTHEIL 1.4926 0.9795 1.5858 1.4909 0.9482 1.3993 1.0128 1.3888 1.0795 0.7451 1.3260 1.0708 1.0149 1.1450 0.9985 1.3318 1.4598 0.7119
53
Introduo ao Matlab

Estudo de Casos
Previso
de carga mensal


Base de Dados: Dados contm informaes sobre 1500 clientes:
715 pagadores; 785 no pagadores.
Atributos da Base de Dados:

ESTC Estado civil NDEP Nmero de dependentes RENDA Renda familiar TIPOR Tipo de Residncia (0=alugada,1=prpria,2=parentes) VBEM O valor do bem a ser adquirido NPARC O nmero de parcelas a serem pagas VPARC O valor de cada parcelas TEL Possui telefone (0=no e 1=sim) IDADE Quantos anos a pessoa tem RESMS Tempo de moradia (em ms) ENTRADA o valor da parcela paga no dia do emprstimo
Sada: Sada:
CLASSE_1 O cliente no pagou o emprstimo http//www.ica.ele.puc-rio.br/birio.br/bi-master CLASSE_2 O cliente pagou o emprstimo http//www.ica.ele.puc-
54

Amostra da Base de Dados:
ESTC NDEP RENDA TIPOR VBEM NPARC VPARC TEL IDADE RESMS ENTRADA CLASSE_1 CLASSE_2
0 0 0 0 1 0 0 0 0 0 0 1 0 0 0 1 0 0 0
0 2 1 0 0 0 2 0 0 0 0 0 2 0 0 0 0 2 0
350 580 500 2000 411 500 500 800 300 554 332 342 632 600 800 480 1300 868 300
1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
468 349 828 309 390 614 347 359 309 429 593 453 365 587 495 460 349 567 399
10 10 18 6 12 10 4 6 6 10 4 10 6 10 15 3 10 10 10
65 51 89 66 55 81 101 76 66 60 100 59 78 89 59 135 51 78 55
0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0
33 30 29 29 40 59 44 51 30 46 44 52 49 44 50 59 45 39 29
6 6 6 6 0 6 6 6 6 6 215 6 6 60 6 6 6 6 6
0 0 0 0 0 0 0 0 0 0 198 0 0 0 0 100 0 0 0
0 1 0 1 1 1 1 1 0 1 1 1 1 1 0 1 1 1 1
1 0 1 0 0 0 0 0 1 0 0 0 0 0 1 0 0 0 0

Estado Civil Nmero de Dependentes Renda Familiar Tipo de Residncia Valor do Emprstimo Nmero de Parcelas Valor da Parcela Possui Telefone Idade Tempo de Moradia Valor da Entrada
Cliente Pagador
Cliente No-Pagador
55
56

1redes Neurais No Matlab

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

1redes Neurais No Matlab

Enviado por

Direitos autorais:

Formatos disponíveis

Redes Neurais

Toolbox de Redes Neurais no MATLAB

Toolbox de Redes Neurais no MATLAB

Linha de comando NNTool

Anlise de Crdito Bancrio

Tela Principal do MATLAB

Tela Principal do MATLAB

Tela Principal do MATLAB

Tela Principal do MATLAB

Definindo uma Matriz Explicitamente

Definindo uma Matriz Explicitamente

Redes Neurais no MATLAB

Passos para a Criao de uma RN

Passos para a Criao de uma RN

Passos para a Criao de uma RN

Inicializando a Rede Neural

[min(P')' max(P')'], [N_hidden 1], {'tansig' 'logsig'}, 'traingd');

Passos para a Criao de uma RN

Definindo parmetros de treinamento

Passos para a Criao de uma RN

Treinando a Rede Neural

net = train(net, P, T);

Passos para a Criao de uma RN

Testando a Rede Neural

M-file desenvolvida para o XOR

M-file desenvolvida para o XOR

M-file desenvolvida para o XOR

Redes Neurais no MATLAB

Interface Grfica NNTool

Passos para a Criao de uma RN

Passos para a Criao de uma RN

Criando a Rede Neural

Criando a Rede Neural

Visualizando a Rede Neural

Visualizando a Rede Neural

Passos para a Criao de uma RN

Inicializando a Rede Neural

Inicializando a Rede Neural

Inicializando a Rede Neural

Passos para a Criao de uma RN

Definindo parmetros de treinamento

Definindo parmetros de treinamento

Definindo parmetros de treinamento

Passos para a Criao de uma RN

Treinando a Rede Neural

Treinando a Rede Neural

Passos para a Criao de uma RN

Testando a Rede Neural

Testando a Rede Neural

Testando a Rede Neural

Testando a Rede Neural

Testando a Rede Neural

Testando a Rede Neural

Rede Neural com Camada Escondida

Rede Neural com Camada Escondida

Rede Neural com Camada Escondida

Rede Neural com Camada Escondida

Rede Neural com Camada Escondida

Rede Neural com Camada Escondida

Definio dos Padres de Entrada

Definio dos Padres de Entrada

Definio dos Padres de Entrada

Definio dos Padres de Entrada