Modelagem de

Sistemas Dinâmicos
Usando MLP
Gustavo Nasser Mazzo
Paulo Thiago Fracasso
Ricardo Caruso Vieira

PSI5886 – Maio de 2010

Professor Emilio Hernandez
Programa
A Questão da Dinâmica

Exemplos de Sistemas

Arquitetura Adotada

Testes Realizados
Sistemas Dinâmicos

O conceito de sistema dinâmico é a

formalização matemática de qualquer “regra”
fixa que descreve a dependência temporal da
posição de um ponto em seu espaço
ambiente

http://en.wikipedia.org/wiki/Dynamic_systems
Sistemas Dinâmicos
Representação Matemática

Atrasos
dx
dt

 xdt
Programa
A Questão da Dinâmica

Exemplos de Sistemas Dinâmicos

Arquitetura Adotada

Testes Realizados
Equação Diferencial

 dx1 
y  3  2  x2 dt  x3
 dt 
Processos Industriais
Mercado Financeiro
Índice Bovespa
 Prever o Ibovespa
 Universo: cotação de 76 índices mundiais
de janeiro de 2006 até abril de 2010
 Foram selecionados 6 deles
 5 maiores correlação com Ibovespa
 1 selecionado pelo especialista
Índice Descrição
IBOV Ibovespa
NDUFCONS EM Consumer Staples
NDUFML EM Materials
NDUEBRIC BRIC
VIX Implied volatility
IVV US EQUITY iShares S&P 500 Index Fund
Programa
A Questão da Dinâmica

Exemplos de Sistemas

Arquitetura Adotada

Testes Realizados
Kolmogorov-Cybenko

y  f ( x1 , x2 , x3 ,..., xn )

Temporal

y (t )  f x1 (t ), x2 (t ), x3 (t ),..., xn (t ) 

dx
dt  xdt
Incorporação de Memória
 memória de curto prazo:
 atrasadores, memória gama

 memória de longo prazo :

 aprendizado supervisionado
Janela de Tempo
 O tamanho do espaço de reconstrução determina o
comprimento N de uma janela de tempo que desliza
sobre a série temporal completa
 Este comprimento corresponde ao tamanho da
linha de atraso e estabelece a dimensionalidade do
espaço de reconstrução
 Deve ser determinada através de ensaios com a
ajuda do especialista
Arquitetura
 Time Delay Neural Network (TDNN)
Aplicações da Arquitetura
 Classificação: encontrar diferentes padrões
temporais
 Identificação de sistemas: tornar a saída atual
da rede o mais próxima possível da saída do
sistema a ser modelado
 Previsão: aproximar a próxima amostra como
uma combinação não-linear das amostras
anteriores de entrada
 TDNN: representa um compromisso entre
simplicidade da estrutura da rede e seu poder
de processamento
Heurísticas para
Melhoria de Desempenho

1 - Atualização incremental
Habilidade de seguir curvas no hiper-plano
do erro [Wilson and Martinez, 2003].

2 - Treinamento com dados em ordem

aleatória
Aprendizado mais rápido para amostras
não esperadas [LeCun, 1993].
Heurísticas para
Melhoria de Desempenho

3 - Normalização das entradas

Resulta em entradas com µ = 0 e σ2 = 1.
Menor probabilidade de saturar o neurônio.
Maximiza a informação durante o treinamento.
Heurísticas para
Melhoria de Desempenho

4 - Função de ativação – tangente hiperbólica

φ(v) = a∙tanh(b∙v), com a=1,71509 e b=2/3

5 - Inicialização parametrizada – w(t=0)

µ = 0 e σ2 = 1/ (n˚ de entradas do layer)
Distribuição uniforme: intervalo [-a;a], onde
a=sqrt(3/ (n˚ de entradas do layer))
Heurísticas para
Melhoria de Desempenho

6 - Bias
Permite introduzir termos constantes à rede
Exemplo: y = 3∙x + 1 (equação da reta)

w1
x y x y w1 = 3,6
1 4
w1
2 7 x
y
w1 = 3
3 10 +1
w2 w2 = 1

BIAS
Programa
A Questão da Dinâmica

Exemplos de Sistemas

Arquitetura Adotada

Testes Realizados
 Equação Diferencial
Sem Atrasadores
T = 5000
N = 100
eta/100
PCA
Bias

Toda a Base Treinamento Validação

MSE Corr(%) MSE Corr(%) MSE Corr(%)
0,56156 5,82 0,50196 35,47 1,28644 -21,24
 Equação Diferencial
Com Atrasadores
T = 5000
N = 100
eta/100
PCA
Bias

Toda a Base Treinamento Validação

MSE Corr(%) MSE Corr(%) MSE Corr(%)
0,01193 95,42 0,00893 96,87 1,2908 -8,31
Equação Diferencial
Sem Atrasadores

Com Atrasadores
 Índice Bovespa
Sem Atrasadores
T = 3000
N = 100
eta/100
PCA
Bias

Toda a Base Treinamento Validação

MSE Corr(%) MSE Corr(%) MSE Corr(%)
0,0278 96,71 0,0228 97,64 0,2856 58,26
Índice Bovespa
Sem Atrasadores
 Índice Bovespa
Com Atrasadores
T = 3000
N = 100
eta/100
PCA
Bias

Toda a Base Treinamento Validação

MSE Corr(%) MSE Corr(%) MSE Corr(%)
0,0013 99,77 0,0011 99,81 0,1675 79,25
Índice Bovespa
Com Atrasadores