Escolar Documentos
Profissional Documentos
Cultura Documentos
Activation
Function,
I. INTRODUCCIN
Revista Avances en Sistemas e Informtica, Vol.4 No. 2, Septiembre de 2007, Medelln, ISSN 1657-7663
Edicin Especial: II Congreso Colombiano de Computacin CCC2007
80
Comparacin del Desempeo de Funciones de Activacin en Redes Feedforward para aproximar Funciones de Datos
Con y sin Ruido Llano, et al
funcin Sinusoidal es mas til para clasificar patrones con y
sin ruido basado en la tasa de convergencia, error minimo y
sensibilidad del ruido [8].
Debido a esto, surgi la idea de hacer una comparacin
aproximando las funciones objetivo propuestas en [4], las
cuales fueron diseadas para evaluar la capacidad de regresin
de modelos de redes neuronales, variando la funcin de
activacin en las neuronas de la capa oculta de la red
neuronal, haciendo pruebas con diferente numero de neuronas
de tal manera que sea posible obtener un criterio de seleccin
entre tres funciones de activacin para redes de tipo
feedforward con diferentes funciones objetivo de diferente
complejidad. pixels.
III. METODOLOGA
81
(1)
(2)
(3)
x2
82
B. Funciones de Activacin
Las funciones de activacin usadas en cada neurona son:
1) Funcin Logstica (figura 2a)
logsig(n) = 1 / 1 e-n
(7)
tansig(n) = 2 / (1 + e-2n) 1
(b)
(a)
(8)
radbas(n)= -en2
(9)
(d)
(e)
Figura 1. Grficos 3D de las funciones objetivo (a) Funcin de Interaccin
Simple, (b) Funcin Radial, (c) Funcin Harmnica, (e) Funcin Aditiva, (d)
Funcin de Iteracin Complicada.
(6)
Funcin
F1
F2
F3
F4
F5
Entrenamiento
Mejor
Peor
radbas
tansig
logsig
tansig
tansig
logsig
radbas
tansig
radbas
tansig
Validacin
Mejor
Peor
radbas
tansig
logsig
tansig
tansig
logsig
logsig
tansig
logsig
radbas
Funcin
F1
F2
F3
F4
F5
Figura 2. Funciones de activacin (a) Funcin Logstica, (b) Funcin
tangente hiperblica y (c) Funcin Gaussiana.
Entrenamiento
Mejor
Peor
radbas
tansig
radbas
tansig
logsig
radbas
radbas
logsig
radbas
tansig
Validacin
Mejor
Peor
radbas
tansig
logsig
tansig
logsig
radbas
radbas
logsig
logsig
tansig
Comparacin del Desempeo de Funciones de Activacin en Redes Feedforward para aproximar Funciones de Datos
Con y sin Ruido Llano, et al
entrenamiento y validacin para la mayora de los casos, y la
funcin de activacin tansig presenta el peor desempeo,
como puede concluirse de estas mismas figuras. Conclusiones
anlogas se deben considerar para los dems funciones, con y
sin ruido, de acuerdo con los datos de las tablas 1 y 2.
Algunos aspectos para resaltar en cada caso de las
funciones sin ruido son los siguientes:
--En F1, para el error de validacin, radbas presenta un
comportamiento estable, indicando que la red converge a una
buena solucin independiente del nmero de neuronas (en este
caso hasta 13 neuronas).
--En F2, despus de 10 neuronas, el error de validacin se
comporta similar para las tres funciones de activacin.
--La funcin tansig en F1 y F2, antes de 8 neuronas
presenta un error de validacin creciente, an cuando el error
de entrenamiento es decreciente. En F1 a partir de la dcima
neurona el error cae abruptamente y en F2, sucede a partir de
la octava.
--En F3, inicialmente los errores de validacin y
entrenamiento son muy altos para las funciones logsig y
radbas en comparacin con tansig, pero a partir de la sptima
neurona son similares.
--En F4, a pesar de que los errores de entrenamiento para
logsig y radbas son similares, siendo levemente inferior
radbas, logsig es mejor en la validacin. Por su parte, tansig
presenta un comportamiento muy inestable.
--En F4 y F5 los resultados de mejor funcin de activacin
son diferentes para el entrenamiento y validacin,
posiblemente por ser stas las funciones objetivo ms
complejas.
--En F5, a partir de la novena neurona es tansig la que
arroja los menores errores de entrenamiento y validacin y su
comportamiento es muy similar al de logsig.
83
84
Comparacin del Desempeo de Funciones de Activacin en Redes Feedforward para aproximar Funciones de Datos
Con y sin Ruido Llano, et al
85
Entrenamiento
F1
F2
F3
F4
F5
Total
tansig
0,1229418
0,0225119
0,07938
0,013665
0,014643368
0,253143553
logsig
0,0010450
0,0041001
0,00123
0,027490
0,00481239
0,03867695
Validacin
radbas
0,0003315
0,0011856
0,00970
0,001285
0,0032946
0,015799709
tansig
17204,39
4836,36
4300,28
3449,55
3536,82
33327,4
logsig
3428,34
2648
3051,88
3756,05
3464
16348,27
radbas
2440,36
2827,26
5972,84
2798,65
3826,38
17865,49
86
Figura 23. Error total de validacin por funcin objetivo sin ruido.
Figura 21. Error total de entrenamiento por funcin objetivo sin ruido.
F1
F2
F3
F4
F5
Total
tansig
0,0003974
0,0008277
0,00063
0,000845
0,000313
0,003017093
Validacin
logsig
1641,86
1395,19
1608,64
1320,01
1831,00
7796,7
radbas
1323,25
1419,99
1582,65
1608,14
1584,79
7518,82
Figura 22. Error total de entrenamiento por funcin objetivo con ruido.
Figura 24. Error total de validacin por funcin objetivo con ruido.
VI. CONCLUSIONES
Comparacin del Desempeo de Funciones de Activacin en Redes Feedforward para aproximar Funciones de Datos
Con y sin Ruido Llano, et al
[2]
[3]
[4]
[5]
[6]
[7]
[8]
Demuth H., and Beale M. Neural Network Toolbox Users Guide For
Use with MATLAB. The MathWorks, Inc. 2003, 5-37.
Hong-Choon., and Wong Y. A Comparative Study on the Multi-layered
Perceptrons with One and Two Hidden Layers. TS5B-3, M2USIC, 2004.
Hwang, J., Lay, S., Maechler, M., Martin, R. D., Schimert, J. Regression
Modeling in Back-Propagation and Proyection Pursuit Learning. IEEE.
Transaction on Neural Networks, Vol 5. No. 3. May 1994.
Jang, J. R., Sun, C., and Mizutani, E. Neuro-Fuzzy And Soft Computing.
A Computational Approach to Learning and Machine Intelligence.
Prentice Hall, USA, 1997, 234.
Kwok, T., and Yeung, D. Objective Functions for Training New Hidden
Units in Constructive Neural Networks. IEEE, Transactions on Neural
Networks, Vol. 8, No. 5, Sep. 1997.
Piekniewski, F., Rybicki, L. Visual Comparison of Performance for
Different Activation Functions in MLP Networks. IEEE, 2004.
Hara, K.; Nakayamma, K. Comparison of activation functions in
multilayer neural network forpattern classification. IEEE World
Congress on Computational Intelligence, 1994. IEEE International
Conference on Volume 5, Issue , 27 Jun-2 Jul 1994 Page(s):2997 - 3002
vol.5.
87
88
Centro de Excelencia en
Complejidad Colciencias 2006