1

Diseño de Redes
Neuronales
Multicapa y
Entrenamiento
(parte 1)
CogNova
Technologies
 2

Aplicaciones Exitosas
de RNA
❖ Donde la tecnología computacional
convencional no resulta capaz.
❖ En problemas que requieren de un
razonamiento cualitativo o cuantitativo
complejo.
❖ Donde se cuenta con una gran cantidad
de datos pero estos son multivariados y
contienen ruido o errores.
CogNova
Technologies
 3

❖ Algunos de los datos pueden ser

incompletos o erróneos.

❖ En general:
– Reconocimiento de patrones
– Validación de señales
– Procesos de monitoreo
– Diagnósticos
– Procesamiento de señales e
información
– Control de sistemas complejos (no
lineales) CogNova
Technologies
 4

Selección de un tipo
de Red
❖ Supervisada: requiere de pares de datos
consistente de patrones de entrada y salida
correcta.
❖ Autosupervisada: clasifica patrones de entrada
internamente no requiere de resultados
esperados, la capacidad de la red resulta
significativamente inferior a la anterior
❖ En ambos casos el tiempo de entrenamiento es
relativamente largo.
CogNova
Technologies
 5

❖ Las redes supervisadas se utilizan

generalmente para la predicción, evaluación
o generalización. Estas aprenden básicamente
a asociar un conjunto de datos de entrada con
su correspondiente conjunto de salida.

❖ Las redes no supervisadas, se aplican mejor a

la clasificación, tipos de reconocimiento
(Redes de Kohonen)
CogNova
Technologies
 6

Selección de la Entrada

❖ Se debe contar con un conjunto

de patrones de entrenamiento
( Pi ) grande.

❖ Un conjunto de patrones de
prueba (Ppi) razonable.
CogNova
Technologies
 7

❖ El número de elementos del

vector de entrada (Número de
características extraídas) estará
determinado por el tipo de
problema a resolver.
❖
❖ Número de elementos del
vector = numero de neuronas
de entrada CogNova
Technologies
 Selección de
8

la salida
❖ Dependerá de la naturaleza de
la aplicación
❖ Neuronas de salida binaria (0,1
o bien -1 , 1)
❖ Neuronas con valores continuos
(0 a 1 o bien -1 a 1)
CogNova
Technologies
 9

❖ La salida puede expresar clases,

porcentaje de aproximación,
etc...
❖ La selección del vector de salida
o vectores determinara el
numero de neuronas en la capa
de salida. P/ej. 1 neurona, 2
clases o bien, una medida de %,
2 neuronas 2 o 4 clases, etc..
CogNova
Technologies
 10

Función de Transferencia
de las neuronas
❖ La función más común es la
sigmoidal
– logarítmica (0 a +1)
– Tangente hiperbólica (-1 a +1)
❖ Lineal
❖ Base radial

CogNova
Technologies
 Combinaciones de 11

Funciones de
Transferencia.
❖ Aproximación de funciones:
– Función logarítmica y lineal.

❖ Reconocimiento de patrones:
– Funciones sigmoidales. Por ejemplo
tangente hiperbólica con logarítmica
CogNova
Technologies
 12

Guía General de Diseño

❖ Usar una sola capa oculta.

❖ Usar pocas neuronas en la capa

oculta.

❖ Entrenar hasta más no poder.

CogNova
Technologies
 13

¿Cuantas Capas Ocultas

son Necesarias?
❖ Dependerá de la complejidad del
problema.
❖

❖ No existe razón teórica para

usar más de dos capas ocultas.

❖ La mayoría de los problemas

prácticos se resuelven con una
sola capa oculta. CogNova
Technologies
 14

Observaciones en el Numero
de Capas ocultas
❖ El entrenamiento se hace mas lento
entre mas capas ocultas se usen
❖ La capa adicional a través de la cual se
propaga el error hace el gradiente más
inestable.
❖ El número de mínimos locales
usualmente se incrementa
dramáticamente . CogNova
Technologies
 15

Re s ume n de l núme ro de
capas ocultas
❖ En resumen se recomienda una sola capa
oculta como primera elección para redes
neuronales practicas.

❖ Si se utilizan un gran número de neuronas en

la capa oculta y no solucionan el problema
satisfactoriamente; entonces debe usare una
segunda capa reduciendo el número de
neuronas en cada capa.
CogNova
Technologies
 16

¿Cuantas neuronas se deben

usar en la capa oculta?
❖ El uso de muchas neuronas incrementa el
tiempo de entrenamiento.

❖ Un número excesivo de neuronas en la capa

oculta puede ser causante de Overfitting*.
Particulariza, no generaliza.

❖ Un número demasiado pequeño de

neuronas puede ser causante de
Underfitting*. No resuelve el problema. CogNova
Technologies
 17

Regla de la Pirámide
Geométrica
❖ Regla aproximada para seleccionar el
número de neuronas en las capas ocultas.

❖ El número de neuronas sigue una forma

piramidal, con un numero decreciente de
neuronas de la entrada hacia la salida.

❖ La excepción es las redes autoasociativas .

Redes donde el numero de entradas=
numero de salidas
CogNova
Technologies
 18

Regla de la Pirámide
Geométrica
❖ Para una red de tres capas (una sola capa
oculta).
h = m*n
❖ Donde:
– n es el número de neuronas de entrada
– m es el número de neuronas de salida
– h es el numero inicial de neuronas en la capa
oculta
CogNova
Technologies
 19

Ejemplo 1:
❖ Para una red neuronal
feedforward de 3 capas con 8
entradas y 2 salidas.

❖ Calcule el numero de neuronas

en la capa oculta usando la
regla de la pirámide.
CogNova
Technologies
 20

Solución al Ejemplo 1

CogNova
Technologies
 21

Red con Dos capas

ocultas
❖ Para la primera capa ❖ Donde:
oculta: ❖ H1 es el numero de
neuronas en la 1a.
H1 = m * r 2 Capa oculta.
❖ H2 es el numero de
❖ Para la segunda neuronas en la
capa oculta: segunda capa oculta

n
H2 = m*r r=3
mCogNova
Technologies
 22

Ejemplo 2:
❖ Para una red neuronal
feedforward de 4 capas con 8
entradas y 1 salida.
❖ Calcule el numero de neuronas
en cada una de las dos capas
ocultas. Use la regla de la
pirámide.
CogNova
Technologies
 23

Solución al Ejemplo 2:

CogNova
Technologies
 24

Observaciones a la regla
de la Pirámide Geométrica
❖ Las formulas anteriores solo son
aproximaciones burdas del tamaño
ideal de las capas ocultas.
❖ En la aproximación de funciones
complicadas que involucran una
neurona de entrada y una de salida
puede requerir una docena de
neuronas ocultas o más. CogNova
Technologies
 25

Regla basada en Algoritmos

Genéticos
2
H = n
3
❖ El número de neuronas en la
capa oculta puede cambiar el
tiempo de entrenamiento de la
misma forma su capacidad para
generalizar. CogNova
Technologies
 26

Como obtener el número

óptimo de neuronas
❖ Iniciar con un número pequeño de
neuronas en la capa oculta.
❖ Seleccione un criterio apropiado para
evaluar la red. Por ej. el error mínimo,
clasificación de lo patrones de
entrenamiento y de prueba,
❖ Entrene y pruebe la red; recordando su
desempeño. (Guarde los pesos y
umbrales y el error obtenido) CogNova
Technologies
 27

Como obtener el número

óptimo de neuronas (2)
❖ Incremente el número de neuronas
ocultas (solo una neurona a la vez)
entrene y pruebe de nuevo.

❖ Repetir lo anterior hasta que el error

sea pequeño, o no haya una mejora
significativa.
CogNova
Technologies
 28

Network Training
Mastering ANN Parameters
Typical Range
learning rate - α 0.1 0.01 - 0.99
momentum - µ 0.8 0.1 - 0.9
weight-cost - λ 0.1 0.001 - 0.5
Fine tuning : - adjust individual parameters at
each node and/or connection weight
– automatic adjustment during training
CogNova
Technologies
 29

Inicialización de los
pesos W y umbrales b
❖ Valores iniciales aleatorios en un
intervalo pequeño +1 a -1. O bien
-0.5 a 0.5.

❖ Valores pequeños de pesos para

neuronas con una gran numero de
conexiones de entrada.
CogNova
Technologies
 30

Otra propuesta : iniciación

❖ Regla aproximada: El intervalo

de los valores de los pesos es de :
1
±
# weights

CogNova
Technologies
 31

En Resumen

❖ Se debe usar tan pocas neuronas

ocultas como sea posible.
❖ Entonces, ir agregando neuronas
conforme sea necesario para
asegurar un adecuado desempeño
con el conjunto de entrenamiento.
CogNova
Technologies
 32

¿Cuanto se debe entrenar

una Red Neuronal?
❖ Al iniciar el entrenamiento el
error decrece; Pero pasando
cierto tiempo, si se continua con
el entrenamiento el error se
incrementa.
❖ **Ver grafica: Manifestación de Sobre
entrenamiento.
CogNova
Technologies
 33

Correcto Entrenamiento
❖ Para un número de prueba de
neuronas ocultas, genere valores
aleatorios de pesos iniciales y entrene
hasta que la mejora sea despreciable.

❖ Genere más pesos iniciales aleatorios y

vuelva a entrenar. Una vez más, y otra
vez.
CogNova
Technologies
 34

❖ Cuando un número moderado de

estas repeticiones en línea falle en
la mejora de su desempeño, se
podrá estar seguro que se ha
entrenado la red lo mejor que se
puede

CogNova
Technologies
 35

Entrenamiento de RNA

CogNova
Technologies
 36

❖ Una red neuronal exitosa requiere que

el conjunto de datos de entrenamiento
y el procedimiento de entrenamiento
sea apropiado al problema
❖ El conjunto de datos de
entrenamiento debe ser
representativo de las clases de
patrones que la red operativa tendrá
que reconocer CogNova
Technologies
 37

❖ De tal forma que se tengan

capacidades de interpolación y
extrapolación, las redes neuronales
se deben de entrenar con un
conjunto suficientemente amplio de
datos de entrada para generalizar
partiendo de sus conjuntos de
entrenamiento
CogNova
Technologies
 38

CogNova
Technologies
 39

Network Training
Typical Problems During Training
E Steady, rapid decline
Would like: in total error
# iter

E Seldom a local minimum

But - reduce learning or
# iter momentum parameter
sometimes:
E Reduce learning parms.
- may indicate data is
# iter not learnable
CogNova
Technologies
 40

Bibliografía:

❖ Practical Neural Network Recipes in C+

+; Timothy Masters; Editorial Morgan
Kaufmann-Academic Press.

❖ Applying Neural Networks, A

Practical Guide; Kevin Swingler ;
Editorial Morgan Kaufmann.

CogNova
Technologies
 41

Bibliografia Cont.

❖ Fuzzy and Neural Approaches in

Engineering; Tsoukalas, Uhrig. Ed. ?

CogNova
Technologies
 42

CogNova
Technologies
 43

Dudas ???

CogNova
Technologies
 44

Hasta la próxima !!!

CogNova
Technologies