Redes Competitivas

Prof. Christian Flores

Antecedentes
Los trabajos de Von der Malsburg (1973) trazan la autoorganizacion de las clulas nerviosas. En 1975, Fukushima propuso el cognitron que es una red competitiva multicapa y autoorganizada. Willshaw y von der Malsburg (1976) trabajaron sobre la formacin de las conexiones neuronales mediante Autoorganizacin. Grossberg (1972, 1976) sobre la clasificacin adaptativa de patrones.

Aprendizaje supervisado
Se le suministra a la red un conjunto de datos de entrada y la respuesta esperada. Se comparan los datos obtenidos por el sistema con los datos de entrada aportados, con la respuesta esperada y se modifican los pesos en funcin del error obtenido. El conjunto de datos utilizados en el proceso de aprendizaje se denomina conjunto de entrenamiento (training set). Si los vectores de entrada utilizados no contienen la informacin idnea la red puede llegar a no aprender.

Mecanismos de aprendizaje

Qu es el aprendizaje no supervisado ?
Aprender sin ninguna seal de cmo se est realizando el aprendizaje (sin refuerzo ni conocimiento del error). Slo se aplica a la red neuronal los datos de entrada, sin indicarle la salida esperada. La red neuronal es capaz de reconocer algn tipo de estructura en el conjunto de datos de entrada (normalmente redundancia de datos) y de esta forma se produce auto-aprendizaje. Durante el proceso de aprendizaje la red autoorganizada debe descubrir por s misma rasgos comunes, regularidades, correlaciones o categoras en los datos de entrada, incorporarlos a su estructura interna de conexiones. La red neuronal recibe los estmulos de entrada y de acuerdo a esos estmulos modificar sus pesos sinpticos. La red aprender una representacin auto-organizada de los ejemplos de entrada.

Cartas topolgicas

La inspiracin biolgica

Humunculus, Humunculus, el hombrecito dentro del cerebro

La inspiracin biolgica

Humunculus, el hombrecito dentro del cerebro

La inspiracin biolgica

Cartas retinotpicas

Hubel & Wiesel

La inspiracin biolgica

Cartas retinotpicas

La inspiracin biolgica

Informaciones Multidimensionales

La inspiracin biolgica

Sinestesia

La inspiracin biolgica

Proceso biolgico

Si algunas regiones del espacio de entrada son mas usadas que otras y reciben una rica variedad de estmulos estas se mapearan mejor. (ej. Las manos de un pianista o un cirujano)

La inspiracin biolgica

Autoorganizacin
Cada nodo de la red tiene conexiones exicitatorias laterales con su vecinos mas prximos pero conexiones laterales inhibitorias con sus vecinos mas distantes.

En el mapa topogrfico cortical estas regiones crecern , mientras que las regiones que no son usadas se harn mas pequeas.

La inspiracin biolgica

El sombrero mejicano
+
Respuesta Positiva (Excitacin)

Respuesta Negativa (Inhibicin)

La inspiracin biolgica

El sombrero mejicano

La inspiracin biolgica

Tomando la inspiracin biolgica

Biolgico
Ejemplos

Red de Neuronas

Mapas Autoorganizados

La inspiracin biolgica

Bioinspirado

Estmulos del espacio Proceso de aprendizaje Al final del aprendizaje neuronas con de entrada por competicin caractersticas similares se ubican cerca unas de otras.

Sistemas Autoorganizados: Utilidad Autoorganizados:

Clustering agrupamiento. Reduccin de la dimensionalidad. Deteccin de familiaridad (similitud entre un valor nuevo y valores ya presentados). Modelo de aprendizaje biolgico (ej.: corteza visual primaria).

Ejemplo: Cluster

Conjunto de datos representados en dos dimensiones.

Redes Neuronales Competitivas

La competicin entre neuronas har que una sola de ellas ( algunas en ciertos casos) sean las que aprendan. De esta forma lograremos que cada unidad aprenda informacin diferente, es decir se especialice.

Creando el modelo bioinspirado

Inspirndose en estos comportamientos biolgicos se desarrollaron los mapas autoorganizados. Los Mapas Autoorganizados o SOM (Self-Organizing Maps) fueron creados por Teuvo Kohonen entre los aos 1982 y 1990 La idea se basa en un funcionamiento biolgico de aprendizaje por competicin, de forma que cuando un conjunto de datos de entrada se presenta a la red, los pesos de las neuronas se adaptan de forma que la clasificacin presente en el espacio de entrada se preserva en la salida.

Mapas autoorganizados

Red SOFM

Capa de entrada. Capa de Competitiva. Conexin entre cada entrada con todas las neuronas.

SOFM (Self-organizing Feature Map) (SelfMap)

Tambin llamados Kohonen. Mapas Autorganizado de

Aprendizaje de la red Kohonen

Calculamos la mnima distancia entre los pesos y las entradas de nuestro sistema.

Por lo tanto :

Aprendizaje con vecindario

Adicionamos la capacidad de relacin con las neuronas vecinas tenemos:

: valor entero que marca el limite del vecindario de aprendizaje

Tipos de Vecindarios: Bidimensionales

Vecindario bidimensional cuadrado, cada clula tiene 4 vecinas.

Vecindario bidimensional en estrella, cada clula tiene 8 vecinas.

Tipos de Vecindarios: Bidimensionales

Vecindario unidimensional en anillo, cada clula tiene 2 vecinos.

Vecindario tridimensional, cada clula tiene 4 vecinos.

Esquemas de aprendizaje
El valor de se decrementa en una cantidad constante . Hasta que la red se estabiliza, con se puede determinar el numero de ciclos de aprendizaje.

El valor de se decrementa siguiendo un esquema logaritmico. En las primeas iteraciones es elevado y hasta alcanza valores muy pequeos. Se da mas importancia a las primeras iteraciones.

Funcionamiento de la red
Seleccionar un patrn de entrada. Calcular la distancia de dicho patrn a cada una de las clulas del mapa de Kohonen. Etiquetar como ganadora aquella clula cuya distancia sea menor.

Arquitectura SOM

n
Capa de entrada Una por cada variable de entrada

Capa de salida y competicin No existe capa oculta

n m

Mapas autoorganizados

Un ejemplo de la arquitectura SOM

Capa de entrada de tres dimensiones (x,y,z)

Capa de salida y competicin de 9 neuronas

Mapas autoorganizados

Capa de entrada

Tabla con ejemplos Estmulos del espacio de entrada. Una neurona por cada dimensin, en este ejemplo 3.

Mapas autoorganizados/ Un ejemplo de la arquitectura SOM

Capa de entrada

Cada neurona de la capa de entrada esta conectada a todas las neuronas de la capa de salida.

Mapas autoorganizados/ Un ejemplo de la arquitectura SOM

Capa de entrada
18.91 22.13 27.40

Cada ejemplo es presentado a las neuronas de la capa de salida. As se buscan las neuronas mas parecidas al vector de entrada mediante un proceso de competicin. Finalmente se crean grupos con caractersticas similares.

Mapas autoorganizados/ Un ejemplo de la arquitectura SOM

Capa de salida y competicin

Entre las neuronas de la capa de salida, puede decirse que existen conexiones laterales de excitacin e inhibicin implcitas, pues aunque no estn conectadas, cada una de estas neuronas va a tener cierta influencia sobre sus vecinas.

Mapas autoorganizados/ Un ejemplo de la arquitectura SOM

Capa de salida y competicin

La influencia sobre vecinos se consigue a travs de un proceso de competicin entre las neuronas y de la aplicacin de una funcin denominada de vecindad. 2 1 0 Cuadrada

2 1 0 Hexagonal

Mapas autoorganizados/ Un ejemplo de la arquitectura SOM

Algoritmo de aprendizaje

Mapas autoorganizados/ Algoritmo de aprendizaje

1.Determinar la topologa del mapa

Mapas autoorganizados/ Algoritmo de aprendizaje

2. Determinar el tamao del mapa

Mapas autoorganizados/ Algoritmo de aprendizaje

3. Escoger el tipo de vecindario

2 1 0

2 1 0

Mapas autoorganizados/ Algoritmo de aprendizaje

4. Inicializar los pesos de las neuronas

R x y

Mapas autoorganizados/ Algoritmo de aprendizaje

Concepto de peso
Capa de Entrada
Dos Dimensiones (x,y) Capa de Salida

w w2 w w1 w w w1 w2 w
w1 w2 w3 w1 w2

Dos Dimensiones

Tres Dimensiones (x,y,z)

w3

Dos Dimensiones

n Dimensiones (x,y,z, , n)

w1 w2 w3 wn

Dos Dimensiones

Mapas autoorganizados/ Algoritmo de aprendizaje

Inicializar los pesos de las neuronas

t=0

R x y

Mapas autoorganizados/ Algoritmo de aprendizaje

Inicializar los pesos de las neuronas

t=0

0.2 0.3

R x y

Mapas autoorganizados/ Algoritmo de aprendizaje

Inicializar los pesos de las neuronas

0.2 0.3 0.4 0.8 0.9 0.3 0.5 0.7 0.7 0.3 0.6 0.1

0.6 0.7

0.2 0.7

0.9 0.4

0.6 0.7

0.5 0.3

0.2 0.3

0.4 0.7

0.9 0.2

0.1 0.3

0.8 0.3

0.5 0.8

0.3 0.3

t=0
0.2 0.6 0.6 0.6 0.7 0.4 0.5 0.5 0.5 0.6 0.6 0.3

0.2 0.7

0.7 0.8

0.7 0.8

0.8 0.6

0.6 0.7

0.2 0.3

0.2 0.7

0.2 0.3

0.9 0.3

0.9 0.7

0.2 0.3

0.7 0.8

Mapas autoorganizados/ Algoritmo de aprendizaje

Inicializar los pesos de las neuronas

0.2 0.3

0.4 0.8

0.9 0.3

0.5 0.7

0.7 0.3

0.6 0.1

t=0

0.6 0.7

0.2 0.7

0.9 0.4

0.6 0.7

0.5 0.3

0.2 0.3

0.4 0.7

0.9 0.2

0.1 0.3

0.8 0.3

0.5 0.8

0.3 0.3

0.2 0.6

0.6 0.6

0.7 0.4

0.5 0.5

0.5 0.6

0.6 0.3

0.2 0.7

0.7 0.8

0.7 0.8

0.8 0.6

0.6 0.7

0.2 0.3

R x y

0.2 0.7

0.2 0.3

0.9 0.3

0.9 0.7

0.2 0.3

0.7 0.8

Mapas autoorganizados/ Algoritmo de aprendizaje

Inicializar los pesos de las neuronas

0.2 0.3

0.4 0.8

0.9 0.3

0.5 0.7

0.7 0.3

0.6 0.1

0.6 0.7

0.2 0.7

0.9 0.4

0.6 0.7

0.5 0.3

0.2 0.3

0.4 0.7

0.9 0.2

0.1 0.3

0.8 0.3

0.5 0.8

0.3 0.3

0.2 0.6

0.6 0.6

0.7 0.4

0.5 0.5

0.5 0.6

0.6 0.3

0.2 0.7

0.7 0.8

0.7 0.8

0.8 0.6

0.6 0.7

0.2 0.3

R x y

0.2 0.7

0.2 0.3

0.9 0.3

0.9 0.7

0.2 0.3

0.7 0.8

Mapas autoorganizados/ Algoritmo de aprendizaje

5. Presentar una entrada a la red

0.14 0.77

0.2 0.3

0.4 0.8

0.9 0.3

0.5 0.7

0.7 0.3

0.6 0.1

0.6 0.7

0.2 0.7

0.9 0.4

0.6 0.7

0.5 0.3

0.2 0.3

0.4 0.7

0.9 0.2

0.1 0.3

0.8 0.3

0.5 0.8

0.3 0.3

w2

0.2 0.6

0.6 0.6

0.7 0.4

0.5 0.5

0.5 0.6

0.6 0.3

0.2 0.7

0.7 0.8

0.7 0.8

0.8 0.6

0.6 0.7

0.2 0.3

R x y

w1

0.2 0.7

0.2 0.3

0.9 0.3

0.9 0.7

0.2 0.3

0.7 0.8

Mapas autoorganizados/ Algoritmo de aprendizaje

Presentar una entrada a la red

0.14 0.77

0.2 0.3

0.4 0.8

0.9 0.3

0.5 0.7

0.7 0.3

0.6 0.1

0.6 0.7

0.2 0.7

0.9 0.4

0.6 0.7

0.5 0.3

0.2 0.3

0.4 0.7

0.9 0.2

0.1 0.3

0.8 0.3

0.5 0.8

0.3 0.3

w2

0.2 0.6

0.6 0.6

0.7 0.4

0.5 0.5

0.5 0.6

0.6 0.3

0.2 0.7

0.7 0.8

0.7 0.8

0.8 0.6

0.6 0.7

0.2 0.3

R x y

w1

0.2 0.7

0.2 0.3

0.9 0.3

0.9 0.7

0.2 0.3

0.7 0.8

Mapas autoorganizados/ Algoritmo de aprendizaje

6. Encontrar la neurona ganadora

0.14 0.77

0.2 0.3

0.4 0.8

0.9 0.3

0.5 0.7

0.7 0.3

0.6 0.1

0.6 0.7

0.2 0.7

0.9 0.4

0.6 0.7

0.5 0.3

0.2 0.3

0.4 0.7

0.9 0.2

0.1 0.3

0.8 0.3

0.5 0.8

0.3 0.3

0.2 0.6

0.6 0.6

0.7 0.4

0.5 0.5

0.5 0.6

0.6 0.3

0.2 0.7

0.7 0.8

0.7 0.8

0.8 0.6

0.6 0.7

0.2 0.3

R x y

0.2 0.7

0.2 0.3

0.9 0.3

0.9 0.7

0.2 0.3

0.7 0.8

Mapas autoorganizados/ Algoritmo de aprendizaje

Ajustar los pesos de la neurona ganadora

Ajustar los pesos de la neurona ganadora en la direccin del punto presente en la entrada. W = (t) (X W) , tambin los pesos de las neuronas de la vecindad de la neurona ganadora. Pero con una tasa de aprendizaje reducida (Sombrero Mejicano) de manera que se especialice menos que la neurona ganadora.

Mapas autoorganizados/ Algoritmo de aprendizaje

7. Presentar otro ejemplo

0.09 0.71

0.2 0.3

0.4 0.8

0.9 0.3

0.5 0.7

0.7 0.3

0.6 0.1

0.6 0.7

0.2 0.7

0.9 0.4

0.6 0.7

0.5 0.3

0.2 0.3

0.4 0.7

0.9 0.2

0.1 0.3

0.8 0.3

0.5 0.8

0.3 0.3

0.2 0.6

0.6 0.6

0.7 0.4

0.5 0.5

0.5 0.6

0.6 0.3

0.2 0.7

0.7 0.8

0.7 0.8

0.8 0.6

0.6 0.7

0.2 0.3

R x y

0.2 0.7

0.2 0.3

0.9 0.3

0.9 0.7

0.2 0.3

0.7 0.8

Mapas autoorganizados/ Algoritmo de aprendizaje

Presentar otro ejemplo

0.09 0.71

0.2 0.3

0.4 0.8

0.9 0.3

0.5 0.7

0.7 0.3

0.6 0.1

0.6 0.7

0.2 0.7

0.9 0.4

0.6 0.7

0.5 0.3

0.2 0.3

0.4 0.7

0.9 0.2

0.1 0.3

0.8 0.3

0.5 0.8

0.3 0.3

0.2 0.6

0.6 0.6

0.7 0.4

0.5 0.5

0.5 0.6

0.6 0.3

0.2 0.7

0.7 0.8

0.7 0.8

0.8 0.6

0.6 0.7

0.2 0.3

R x y

0.2 0.7

0.2 0.3

0.9 0.3

0.9 0.7

0.2 0.3

0.7 0.8

Mapas autoorganizados/ Algoritmo de aprendizaje

Repetir
Reducir la vecindad de las neuronas y repetir 2 a 4 veces para todos los puntos por un cierto numero de iteraciones

Mapas autoorganizados/ Algoritmo de aprendizaje

Visualizacin y funcionamiento del mapa

0.2 0.3

0.4 0.8

0.9 0.3

0.5 0.7

0.7 0.3

0.6 0.1

0.6 0.7

0.2 0.7

0.9 0.4

0.6 0.7

0.5 0.3

0.2 0.3

0.4 0.7

0.9 0.2

0.1 0.3

0.8 0.3

0.5 0.8

0.3 0.3

0.2 0.6

0.6 0.6

0.7 0.4

0.5 0.5

0.5 0.6

0.6 0.3

0.2 0.7

0.7 0.8

0.7 0.8

0.8 0.6

0.6 0.7

0.2 0.3

R x y

0.2 0.7

0.2 0.3

0.9 0.3

0.9 0.7

0.2 0.3

0.7 0.8

Mapas autoorganizados/ Algoritmo de aprendizaje

Visualizacin y funcionamiento del mapa

Una vez seleccionado el mapa ptimo, podemos pasar a la fase de visualizacin observando en qu coordenadas del mapa se encuentra la neurona asociada a cada patrn de entrenamiento. Esto nos permite proyectar el espacio multidimensional de entrada en un mapa bidimensional. Adems de analizar la similitud entre los clusters o agrupaciones de datos organizados por la propia red. Por este motivo, el modelo de mapa autoorganizado es especialmente til para establecer relaciones, desconocidas previamente, entre conjuntos de datos.

Visualizacin y funcionamiento del mapa

R x y

Mapas autoorganizados/ Algoritmo de aprendizaje

Aplicacin: distribucin
Una demostracin del funcionamiento de esta red lo ofrecen los mapas topolgicos bidimensionales de Kohonen.

Evaluacin del mapa distribucin toroidal.

de

Kohonen

para