MODELO DE HOPFIELD

Sonia Marcela Duque

Daniel Stiven Iturriago
David Leonardo Calderon

Inteligencia Artificial
Grupo 8
Ingenieria de sistemas

ORIGEN
En 1982 John Hopfield con la publicacin del artculo Hopfield
Model o Crossbar Associative Network, junto con la invencin del
algoritmo Backpropagation se consigui devolver el inters y la
confianza en el fascinante campo de la computacin neuronal tras
dos dcadas de casi absoluta inactividad y desinters.

Hopfield presenta un sistema de computacin neuronal consistente

en elementos procesadores interconectados que buscan y tienden
a un mnimo de energa.

ARQUITECTURA
La red de Hopfield es una de las
redes unicapas ms importantes y ha
influido en el desarrollo de multitud
de redes posteriores.
Es una red autoasociativa no lineal.

Cada neurona de la red se encuentra conectada a todas las

dems (conexiones laterales), pero no consigo misma (no existen
conexiones autorecurrentes). Adems los pesos asociados a las
conexiones entre pares de neuronas son simtricos. Esto significa
que el peso de la conexin de una neurona i con otra j es de igual
valor que el de la conexin de la neurona j con la i.

MEMORIA ASOCIATIVA
La memoria humana funciona
de una manera asociativa. A
partir de una porcin de
informacin es capaz de
obtener la informacin
completa. Por ejemplo,
escuchando los primeros
acordes de una cancin el
cerebro es capaz de
reproducir toda una
experiencia completa,
incluyendo escenas, ruidos y
olores.

Una red recursiva constituye una

memoria asociativa. Al igual que el
humano, si se le presenta una porcin
de datos es capaz de recuperar todos
los datos.
Para realizar una memoria asociativa
mediante una red recursiva (Hopfield
propuso originalmente esta aplicacin
para su red binaria), es necesario elegir
los pesos de forma que produzcan un
mnimo de energa.
Cada vector de estado correspondiente
a un mnimo de energa se llama
"memoria".

La versin inicial de esta red fue

ideada para trabajar con valores
binarios -1 y +1. Por tanto, la
funcin de activacin de cada
neurona de la red es de tipo
escaln

Funcin escaln : se utiliza cuando las salidas de la red son binarias. La

salida de una neurona se activa slo cuando el estado de activacin es
mayor o igual que cierto valor umbral t que representa la mnima
entrada total ponderada necesaria para provocar la activacin de la
neurona.

DINMICA DE LA RED DE
HOPFIELD
Ejecutar un patrn en la red de Hopfield consiste en enviar un
patrn en la red y actualizar las neuronas repetidamente hasta que
se estabilicen los estados de las neuronas a un patrn memorizado.
Con pasos sera as.
1 Se establece el patrn de entrada en la capa de entrada.
2. Se actualizan las neuronas de la capa de procesamiento.
3. Si han cambiado el estado de la red o hemos realizado ya el
nmero mximo de iteraciones paramos.
4. Si no, volvemos al paso 2.

FUNCIONAMIENTO
Se trata de una red autoasociativa. Por tanto, informaciones
diferentes (patrones) pueden ser almacenadas en la red, como si de
una memoria se tratase, durante la etapa de aprendizaje.
Posteriormente, cuando se presenta una entrada a la red, esta
evoluciona hasta generar una salida que coincidir con la que
corresponde a esa entrada, o bien la ms parecida si la entrada est
distorsionada o incompleta.

Centrndonos en una sola neurona el funcionamiento sera el

siguiente:
-

Recibe como entrada la salida de cada una de las otras

neuronas (por las conexiones laterales).

Estos valores de salida, inicialmente coinciden con las entradas

del vector, multiplicadas por los pesos de las conexiones
correspondientes.

La suma de todos estos valores constituir el valor de entrada

neta de la neurona a la que hay que aplicarle la funcin de
transferencia obtenindose el valor de salida correspondiente.

APRENDIZAJE DE LA RED DE HOPFIELD

Esta red aprende usando la regla de hebb, esto es asociamos los pesos
de las sinapsis al Estado de las neuronas pre y postsinpticas. Los pasos
para que la red aprenda una lista de patrones son los siguientes:
1

Para cada patrn de la lista P

Se establece el patrn de entrada de P en los sensores, la capa

entrada.

Se hace que las neuronas de la s capas de salida se actualicen sus

estados a los valores de la capa de entrada

Solicitar que aprendan todas las sinapsis usando las sinapsis

laterales.

Hacer los pesos de las sinapsis nulos.

Si la red de Hopfield es bipolar, {-1,1}, Las sinapsis que une las

neuronas i, j aprendern de la siguiente manera:
Sea:
Ei = El estado de la neurona i de la capa de salida.
Pij = El peso actual asociado a la sinapsis que une la neurona i y la
neurona j de la capa de salida.
Ej = El estado de la neurona j de la capa de salida.
Pijnuevo = El peso actualizado.
N = el nmero de patrones de la lista de patrones.
Entonces
Pijnuevo = Pij + Ej*Ei / N

LIMITACIONES
Existen varios problemas asociados a la red Hopfield. Los dos ms importantes se
refieren a la cantidad limitada de datos que se pueden almacenar y la necesidad
de que estos datos sean ortogonales entre s.
1. Nmero limitado de entradas en la etapa de aprendizaje:
Si se almacenan demasiadas informaciones, durante su funcionamiento la red
puede converger a valores de salida diferentes de los aprendidos, con lo que la
tarea de asociacin entre la informacin presentada y alguna de las almacenadas
se realiza incorrectamente.
Si se permite la posibilidad de un mnimo error en la recuperacin de las
informaciones almacenadas, suficientemente pequeo para poder identificar
dicha informacin, el nmero de informaciones almacenadas puede ascender por
debajo de un 13,8 % del nmero de neuronas de la red.

LIMITACIONES
2. Ortogonalidad de las informaciones aprendidas
Si las informaciones almacenadas no son suficientemente diferentes entre s
(no son ortogonales) puede ocurrir que ante una entrada la red no haga una
asociacin correcta y genere una salida errnea, tal vez la salida corresponda a
otra entrada aprendida que fuese muy parecida.
Lo que se debe conseguir es que las informaciones que se dan a la red durante
la etapa de aprendizaje sean ortogonales, lo cual ocurre si se cumple que cada
par de patrones de entrada difieren en, al menos N/2 componentes, siendo N
el nmero total de componentes por patrn.
Esta condicin de ortogonalidad que establece que dados dos patrones de
entrada deben diferir en al menos la mitad de sus componentes (distacia
Hamming), puede ser relajada, estableciendo una distancia mnima del 30%
para que se garantice todava un funcionamiento aceptable.

APLICACIONES
En cuanto a las aplicaciones ms conocidas de este modelo
destacan las relacionadas con el reconocimiento de
imgenes y de voz, el control de motores y sobre todo la
resolucin de problemas de optimizacin. En este ltimo
mbito se ha aplicado para la resolucin de ecuaciones y del
problema del viajante de comercio, manipulacin de grafos,
procesado de seales (conversores analgico-digitales) y de
imgenes, etc.

EJEMPLO
El entrenamiento va a consistir en el aprendizaje de dos informaciones (patrones)
de cuatro pixeles cada una. Los pixeles se representan mediante el valor -1 si es
blanco y 1 si es negro. Por tanto, las informaciones de entrada de la red van a ser
dos vectores (M=2) de 4 elementos (N=4) conteniendo los valores de los pixeles.
La red tendra 4 neuronas para que cada una reciba el valor de un pixel.

Los valores de los vectores de entrada

que representan cada patrn son:
E1= [1,1,-1,-1] y E2 = [-1,-1,1,1]

ETAPA DE APRENDIZAJE
El aprendizaje de estas dos informaciones consiste en la obtencin de los pesos de la red
(matriz W).
Para la entrada E1, la salida W1 es:

Para la entrada E2, la salida W2 es:

Sumando W1 y W2 se obtiene la matriz de pesos definitiva, W

ETAPA DE FUNCIONAMIENTO
1

Si aplicamos a la red la entrada

E = [1 -1 -1 -1] , el vector de salida sera:

Como suponemos una funcin de activacin

de cada4 neurona de tipo escaln con
3
desplazamiento sobre el origen, =0, la salida de la red despus de la primera iteracin es:
S = [1 1 -1 -1]
Repitiendo el proceso, tomando como
entrada la salida anterior, S.
Aplicando igualmente la funcin de activacin la salida obtenida es
1

S = [1 1 -1 -1]
Al repetirse la salida, la red se ha estabilizado, generando el
patrn ms parecido al que se ha presentado como entrada

NETGRAFIA
http://www.ciberesquina.una.edu.ve:8080/2014_2/350_E.pdf
http://es.slideshare.net/mentelibre/redes-neuronales-de-hopfield
http://es.slideshare.net/priscill1/aplicacin-de-las-redes-hopfield-al-problema-deasignacin
http://thales.cica.es/rd/Recursos/rd98/TecInfo/07/tecinfo-07.html
http://www.hugo-inc.com/RNA/Unidad%205/5.2.2.html