Teora de red no lineal Boletn de problemas 6

1. Considere la dinmica de una autapsis no lineal determinada por la ecuacin:

dx + x = tanh( wx + b) . dt

a. Tenga presente el caso en el que w =

1 . En este caso hay un slo estado 2 constante [2, 2] , y es estable. La iteracin:

x := tanh( wx + b) (1) debera converger a x desde cualquier x inicial. Utilizando esta herramienta, determine el valor del estado constante como funcin de b sobre el dominio [2, 2] . Este grafo representa la relacin entrada / salida del sistema. b. Considere el caso donde w = 2 . En este caso hay nada menos que tres estados constantes del sistema, 2 estables y 1 inestable, de modo que la relacin entrada / salida resulta algo ms compleja. El procedimiento de iteracin en la ecuacin 1 converger a los estados constantes estables si x se inicializa dentro de su pila de atraccin. Para el estado constante inestable, utilice la iteracin:

x :=

tanh 1 ( x) b w

(2)

Mediante estos procedimientos, determine los estados constantes de x como funcin de b sobre el dominio [2, 2] . Este trazado tambin se conoce como diagrama de bifurcacin. Asegrese de que comprende los dominios en los que existen estos estados constantes. c. Haga una simulacin de este sistema mediante la integracin de Euler, utilizando w = 2 y = 1 . Comience la simulacin con b = 1 y luego ajuste b = 0 y t = 5s. En qu valor se detiene x? Ejecute de nuevo la simulacin con b = 1 para los 5 primeros segundos, y posteriormente con b = 0. Cul es el valor final de x para esta simulacin? Explique con sus palabras la relacin entrada / salida de este sistema. d. En el apartado (b), observ dos puntos de bifurcacin para este sistema los valores de b donde vara el nmero de estados constantes. En este problema hallaremos esos puntos analticamente, en funcin de w. i. Los puntos de bifurcacin se dan cuando la lnea y = x es tangente a y = tanh( wx + b) . Escriba dos ecuaciones no lineales con dos incgnitas (x y b) que describan esta condicin. ii. La derivada de la funcin tanh es muy simple: tanh(u ) = 1 tanh 2 (u ) . Utilizando esta informacin, resuelva u 1

los valores de x y b en el punto de bifurcacin como funcin de w . La solucin debera coincidir con los trazados que realiz en el apartado (b). 2. En este ejercicio, estudiaremos la dinmica de la red neuronal N.
+

N dxi + xi = bi + xi x j dt j =1

(3)

Aqu y son positivas e indican las potencias de autoexcitacin e inhibicin global, + respectivamente. La funcin [ u ] = max {u, 0} es la no linealidad de rectificacin. a. Consideremos en primer lugar el caso de excitacin dbil ( < 1) . i. Demuestre que las ecuaciones de punto fijo pueden escribirse como:
N 1 xi = bi x j 1 j =1 +

(4)

si ( < 1) . Una de las interpretaciones de estas ecuaciones es que un umbral comn x j se sustrae de todas las entradas
j =1 N

ii.

bi , y el resultado es rectificado y ampliado con ganancia 1 (1 ) para producir las salidas xi , que luego determinan el umbral de modo autocoherente. Suponga que las entradas bi tienen distintos valores, y ordnelos como b1 > b2 > ... > bN , sin perder la generalidad. A partir de las ecuaciones de punto fijo, slo las neuronas k destacadas (aquellas con las mayores entradas k) se encuentran activas (> 0) en un punto fijo. El nmero k se definir a continuacin, pero suponga por ahora que k est determinado, y demuestre que: k k 1 x = (5) bi i 1 + k i =1 i =1 Esto significa que la ganancia del modo comn es 1 (1 + k ) . Utilice este resultado para mostrar que k debe satisfacer:

iii.

bk >
iv.

k bi > bk +1 1 + k i =1

(6)

Demuestre que k existe y que es nica.

v.

vi.

Cul es la proporcin ( xi x j ) (bi b j ) , si ambas neuronas i y j se encuentran activas? Esta proporcin es la ganancia diferencial. Muestre que slo la neurona destacada se encuentra activa en el lmite como 1 (la ganadora en potencia).

b. Anlisis de estabilidad local. En los alrededores de un punto fijo con neuronas activas k, podemos alinear la dinmica de las neuronas activas para obtener: k dxi (7) + xi = bi + xi x j dt j =1 Otra posibilidad consiste en escribir la frmula del vector matriz:
dx + x = b + Wx dt

(8)

donde W = I 11T , I es la matriz de identidad con unos en la diagonal, 1 es el vector columna compuesto por todos los unos, y el producto exterior 11T es la matriz que consta de todos los unos. Halle los eigenvalores k y los eigenvectores de W. Consejo: un eigenvector es el modo comn 1 y el resto son los modos diferenciales (vectores cuyos componentes se aaden a cero). Derive los valores de , y k para los que estos modos se mantienen estables. c. Consideremos ahora el caso de una excitacin fuerte ( > 1) . En el problema anterior, tendra que haber mostrado que todos los modos diferenciales son inestables en este caso. En consecuencia, cualquier punto fijo estable debe tener slo una nica neurona activa (la ganadora en potencia). i. Muestre que la actividad de una nica neurona est determinada por: bi x1 = (9) 1 + Qu ocurre si > 1 + ? ii. Muestre que esta es una solucin autocoherente para cualquier i de 1 a k, donde

iii.

(1 + )b1 > bk +1 (10) Dicho de otro modo, cualquier neurona cuya entrada sea mayor que (1 + ) veces la entrada mayor, puede acabar siendo ganadora, dependiendo de las condiciones iniciales de la dinmica. A este fenmeno de la existencia de mltiples puntos fijos estables se le atribuye el trmino abreviado de multiestabilidad. Histresis: Considere una red de dos neuronas con potencial de ganadoras con b1 = 1 . Determine la separacin d de las dos ramificaciones de la curva de histresis de esta red como bk

funcin de y . Aclaracin: la curva de histresis se determina al sealar la neurona ganadora como funcin de b2 . Imagine que b2 aumenta y disminuye de forma alternativa, para provocar el cambio.