Escolar Documentos
Profissional Documentos
Cultura Documentos
Modulo IX
MODULO IX:
Redes Neuronales de Base Radial
Universidad de Guadalajara
Recurrentes (RNN, por sus siglas en ingls, Recurrent Neural Networks): Tiene conexiones
entre sus nodos que pueden formar ciclos. Estos ciclos crean un estado interno que les
permite mostrar un comportamiento dinmico.
Hopfield, Echo State, Long Short Term Memory Network, Redes Neuronales Recurrentes de
Segundo orden, Redes Neuronales Recurrentes de Alto Orden,
Notas
Sistema: es un conjunto de elementos interdependientes, es decir ligados entre s por
relaciones tales que si una es modificada, las otras tambin lo son y que, en consecuencia,
todo el conjunto es modificado.
Ejemplos de redes
neuronales recurrentes
Hopfield
Red Echo-State
Las RNNs pueden realizar tareas que no le son posibles realizar a las redes estticas.
Prediccin no lineal
Modelado
Control
Representacin en espacio de estados
5
Notas
Estado: Conjunto mnimo de variables que describe el comportamiento de la salida del
sistema.
Un patrn dinmico es aquel que depende del tiempo, el valor del patrn en un instante de
tiempo depende de sus valores anteriores.
Las conexiones recurrentes implican un aumento en el nmero de pesos, lo cual permite que
aumente la capacidad de representacin.
En 1995 Kremer prueba formalmente que una RNN simple tiene un poder computacional
tan grande como el de cualquier mquina de estados finitos.
Notas
Mquina de estados: es modelo de comportamiento de un sistema con entradas y
salidas, definido como un conjunto de estados que sirve de intermediario en la
relacin de entradas y salidas, haciendo que el historial de seales de entrada
determine, para cada instante, un estado para la mquina, de forma tal que la salida
depende nicamente del estado y las entradas actuales.
estados es finito.
Este es el nico tipo de mquinas de estados que se pueden modelar en una computadora en
la actualidad.*
10
Concatenando los nodos de entrada y los de contexto este tipo de red se puede ver como
una red multicapa esttica.
El clculo de las activaciones de las neuronas de la red se realiza como en un red multicapa
sin recurrencias.
11
uno y con parmetros fijos, por lo cual no estn sometidos a aprendizaje, lo cual permite que
el aprendizaje se pueda llevar a cabo utilizando el algoritmo de retropropagacin.
Nodos
de entrada
Nodos
de contexto
12
13
14
Para una poca, la RNN utiliza una secuencia temporal de pares entrada-salida e inicia desde un estado
inicial hasta que alcanza otro estado, en ese punto se detiene el entrenamiento y la RNN se reinicia a un
estado inicial para la siguiente poca.
El estado inicial no tiene que ser el mismo para cada poca. Lo que importa es que el estado inicial
para la nueva poca sea diferente del estado alcanzado por la RNN al final de la poca anterior.
Por ejemplo, en el uso de RNN para emular la operacin de una mquina de estados finitos. En esta
situacin, es razonable usar entrenamiento por pocas debido a que se tiene un nmero distinto de
estados iniciales y un conjunto distinto de estados finales.
Este entrenamiento es adecuado para situaciones donde no hay estados a reiniciar o se requiere un
entrenamiento online. La diferencia principal es que la red aprende mientras se realiza el procesamiento
de la seal.
16
Through Time): opera bajo la premisa que la operacin temporal de una RNN puede ser desdoblada en el
tiempo en un perceptrn multicapa. Esto lleva a la aplicacin del algoritmo estndar de retropropagacin. El
algoritmo BPTT puede ser implementado por pocas o continuo (tiempo real) o en una combinacin.
El algoritmo de aprendizaje recurrente en tiempo real (RTRL, pro sus siglas en ingls, Real-Time Recurrent
Learning): Este algoritmo calcula las derivadas de los estados y las salidas con respecto a todos los pesos de la
red mientras la red procesa la secuencia, esto es durante el paso hacia adelante. No es necesario el proceso de
desdoblamiento en el tiempo. Se deriva a partir del siguiente modelo.
+1 = +
=
BPTT requiere menos clculos que RTRL, pero RTRL requiere menos espacio en memoria.
BPTT es mejor para entrenamiento fuera de lnea y RTRL es mejor para entrenamiento en
lnea.
Para cada instante de tiempo en el intervalo (0 , ]. La red tiene una capa con , donde es
el nmero de neuronas que tiene la red .
19
20
21
Actividad 9
1. Describe con tus palabras la diferencia entre Redes Prealimentadas (Feedforward)
y Redes Recurrentes?
23