Redes Neuronales Artificiales

Ctedra de Algoritmos Genticos Ingeniera en Sistemas de Informacin

Facultad Regional Rosario Universidad Tecnolgica Nacional (UTN)

2003

Redes Neuronales Artificiales

Egan, Fiore, Micheletti y Oliva

1 Introduccin
Existe en el hombre un deseo profundo de poder reproducir la habilidad cognoscitiva por medios artificiales. La fascinacin que la inteligencia como materia de estudio ha suscitado al gnero humano, puede verse reflejada en la aparicin de una rama ntegra del estudio cientfico llamada "Inteligencia Artificial" a secas o tambin estudio de la inteligencia. Una de las mltiples ramas por las cuales se ha desarrollado la investigacin es el desarrollo de las llamadas "redes neuronales". Una red neuronal es el intento de poder realizar una simulacin computacional del comportamiento de partes del cerebro humano mediante la rplica en pequea escala de los patrones que ste desempea para la formacin de resultados a partir de los sucesos percibidos. Concretamente, se trata de poder analizar y reproducir el mecanismo de aprendizaje y reconocimiento de sucesos que poseen los animales ms evolucionados. Una de las preguntas ms interesantes que se plantean al hablar de este tema es la habilidad del cerebro para poder reconocer patrones. Se denomina reconocimiento de patrones a la capacidad de poder interpretar por ejemplo una imagen compleja (una foto, lo que ve el ojo) y actuar en consecuencia.

1.1 Definicin
Las redes neuronales son dispositivos diseados para imitacin de los sistemas nerviosos de los animales. Consisten en una interconexin reticular de unidades, frecuentemente llamadas neuronas artificiales, o simplemente neuronas, cuyo funcionamiento se inspira en el de las neuronas naturales.

1.2 Resea Histrica

Las primeras explicaciones tericas sobre el cerebro y el pensamiento fueron dadas por algunos filsofos griegos, como Platn y Aristteles, quienes fueron apoyados despus por Descartes y filsofos empiristas. Alan Turing, en 1936, fue el primero en estudiar el cerebro como una forma de ver el mundo de la computacin, pero quienes primero concibieron algunos fundamentos de la computacin neuronal fueron Warren, McCulloch y Walter Pitts, despus otras teoras iniciales fueron expuestas por Donald Hebb. Pero solo hasta 1957 Frank Rosenblatt comenz el desarrollo del Perceptrn, la red neuronal ms antigua. Ms adelante apareci el modelo ADALINE, desarrollado por Bernard Widrow y Marcial Hoff. Stephen Grossberg realiz Avalancha en 1967. Hasta 1982 el crecimiento se fren pero surgieron luego investigaciones sobre redes como la de Marvin Minsky y Seymour Papert, despes James Anderson desarroll el Asociador Lineal, mientras que en Japn, Kunihiko Fukushimika y Teuvo Kohonen se centraron en redes neuronales para el reconocimiento de patrones; en USA John Hopfield tambien realiz importantes investigaciones. Desde 1985 comenzaron a consolidarse los congresos ms importantes como Neuronal Networks for Computing, la Neural Information Processing Systems, entre algunas otras. Actualmente, son numerosos los trabajos que se realizan y publican. Revistas como Neural Networks, Transactions on Neural Networks, entre otros, son las encargadas de la publicacin de los ltimos avances.

Pgina 2 de 17

Redes Neuronales Artificiales

Egan, Fiore, Micheletti y Oliva

2 El Modelo Biolgico
Antes de describir el modelo biolgico conviene indicar que en el estado actual de la fisiologa del sistema nervioso los conocimientos acerca del funcionamiento del cerebro todava son muy limitados. El cerebro es el rgano en el que se alojan las habilidades cognoscitivas de los seres humanos. Puede decirse que el cerebro es un elemento de procesamiento de la informacin extremadamente complejo, cuyo modo de funcionamiento es eminentemente paralelo y cuyo comportamiento no puede describirse por medio de modelos sencillos como son los lineales. Fue el cientfico espaol Ramn y Cajal (premio Nobel en 1911) quien a finales del siglo XIX desarroll y present la nocin de neurona como elemento estructural constitutivo del cerebro. En la figura 1.1 se puede ver un esquema simplificado de la morfologa de una neurona tpica. Algunos elementos a destacar de su estructura histolgica son: Las dendritas, que son la va de entrada de las seales que se combinan en el cuerpo de la neurona. De alguna manera la neurona elabora una seal de salida a partir de ellas. El axn, que es el camino de salida de la seal generada por la neurona. Las sinapsis, que son las unidades funcionales y estructurales elementales que median entre las interacciones de las neuronas. En las terminaciones de las sinapsis se encuentran unas vesculas que contienen unas sustancias qumicas llamadas neurotransmisores, que ayudan a la propagacin de las seales electroqumicas de una neurona a otra.

Fig 2.1 Esquema simplificado de una neurona

En trminos generales las dendritas y el cuerpo celular reciben seales de entrada; el cuerpo celular las combina e integra y emite seales de salida. El axn transmite dichas seales a los terminales axnicos, que distribuyen informacin a un nuevo conjunto de neuronas, se calcula que en el cerebro humano existen del orden de 1015 conexiones. Las seales que se utilizan son de dos tipos: elctrica y qumica. La seal generada por la neurona se transportada a lo largo del axn mediante un impulso elctrico, mientras que la seal que se transmite entre los terminales axnicos de una neurona y las dendritas de la otra es de origen qumico. Para establecer una similitud directa entre la actividad sinptica y la analoga con las redes neuronales artificiales podemos considerar: Las seales que llegan a la sinapsis son las entradas a la neurona; estas son ponderadas (atenuadas o simplificadas) a travs de un parmetro, denominado peso asociado a la sinapsis correspondiente. Estas seales de entrada pueden excitar a la neurona (sinapsis con peso positivo) o inhibirla (peso negativo). El efecto es la suma de las entradas ponderadas. Si la suma es igual o mayor que el umbral de la neurona, entonces la neurona se activa (da salida). Esta es una situacin de todo o nada; cada neurona se activa o no se activa. La facilidad de transmisin de seales se altera mediante la actividad del sistema nervioso. Las sinapsis son susceptibles a la fatiga, deficiencia de oxgeno y la presencia de anestsicos, entre otro. Esta habilidad de ajustar seales es un mecanismo de aprendizaje. Es importante notar que aunque el tiempo de conmutacin de la neurona ( unos pocos milisegundos) es casi un milln de veces menor que en los actuales
Pgina 3 de 17

Redes Neuronales Artificiales

Egan, Fiore, Micheletti y Oliva

elementos de las computadoras, ellas tienen una conectividad miles de veces superior que las actuales supercomputadoras.

2.1 Plasticidad
El concepto de plasticidad est relacionado con la capacidad del cerebro frente a la adaptacin de acuerdo a los estmulos exteriores. En un cerebro adulto la plasticidad se puede llevar a cabo por dos procedimientos: creacin de nuevas conexiones sinpticas entre las neuronas y la modificacin de las ya existentes. La plasticidad parece la clave esencial en el funcionamiento de las neuronas como elemento de proceso de la informacin, dicho elemento se modeliza e intenta imitar en las Redes Neuronales Artificiales.

3 Red Neuronal Artificial

3.1 Componentes
Una red Neuronal se compone de: Unidades de Proceso Estado de Activacin Regla de Aprendizaje

3.1.1 Unidad de Proceso

La unidad de proceso es la Neurona Artificial. Existen tres capas en cualquier sistema: capa de entrada, de salidas y ocultas. Las unidades de entrada reciben seales desde el entorno; las de salida envan la seal fuera de la red, y las unidades ocultas son aquellas cuyas entradas y salidas se encuentran dentro del sistema. Se conoce como capa o nivel a un conjunto de neuronas cuyas entradas provienen de la misma fuente y cuyas salidas se dirigen al mismo destino. En el apartado 3.2 se profundiza un poco ms este concepto.

3.1.2 Estado de Activacin

Define o establece cuando una neurona reacciona ante la seal de otra. Esta reaccin puede ser inhibitoria o excitadora. Se requiere una regla que combine las entradas con el estado actual de la neurona para producir un nuevo estado de activacin. Esta funcin F produce un nuevo estado de activacin en una neurona a partir del estado que exista y la combinacin de las entradas con los pesos de las conexiones. Esa F es denominada funcin de activacin, y las variantes ms comunes son: Funcin de Activacin Escaln Funcin de Activacin Gaussiana Funcin de Activacin Sigmoidal

3.1.3 Regla de Aprendizaje

El aprendizaje puede ser comprendido como la modificacin de comportamiento inducido por la interaccin con el entorno y como resultado de experiencias conduce al establecimiento de nuevos modelos de respuesta a estmulos externos. En el cerebro humano el conocimiento se encuentra en la sinapsis. En el caso de las RNA el conocimiento se encuentra en los pesos de las conexiones entre neuronas. Todo proceso de aprendizaje implica cierto nmero de cambios en estas conexiones. En realidad, puede decirse que se aprende modificando los valores de lo pesos de la red.

Pgina 4 de 17

Redes Neuronales Artificiales

Egan, Fiore, Micheletti y Oliva

3.2 Modelo de Neurona

Figura 3.2 Modelo no Lineal de una neurona.

Una neurona es un elemento de procesamiento de la informacin que juega un papel fundamental en la red neuronal. En la figura 3.2 se puede observar un modelo de neurona con sus tres elementos fundamentales: 1. Un conjunto de sinapsis o conexiones, cada una de ellas caracterizada por su fuerza o peso. As, una seal de entrada x j tras pasar la conexin, se habr convertido en una seal x j wk j , donde wk j es el peso o fuerza de la conexin con la entrada j-sima de la neurona k. De acuerdo con el signo del peso w k j se tienen conexiones excitadoras cuando es positivo, y conexiones inhibidoras cuando es negativo. 2. Un sumador , que produce la suma ponderada de las entradas de acuerdo a los correspondientes pesos de las conexiones. 3. Una funcin de activacin o transferencia, que tiene como misin limitar la amplitud de la salida generada por la neurona. Tambin es habitual la inclusin en el modelo de un umbral o polarizacin representado por k, cuya misin es controlar el nivel a partir del cual la neurona produce su salida. Este trmino k es aadido a la suma ponderada, que posteriormente es transformada por la funcin de activacin k( ). Resumiendo:

Esta, es una representacin del comportamiento de la neurona. La funcin de activacin k( ) determina el nivel de activacin de la neurona en trminos de la actividad existente en sus entradas. Hay una infinidad de funciones para ser utilizadas como funcin de activacin en el modelo propuesto, pero se pueden distinguir cuatro grandes clases: 1. Tipo escaln o umbral: En un principio se pens que las neuronas usaban una funcin de umbral, es decir, que permanecan inactivas y se activaban slo si la estimulacin total superaba cierto valor lmite; esto se puede modelar con una funcin escaln: la ms tpica es el escaln unitario: la funcin devuelve 0 por debajo del valor crtico (umbral) y 1 por encima. Despus se comprob que las neuronas emitan impulsos de actividad elctrica con una frecuencia variable, dependiendo de la intensidad de la estimulacin recibida, y que tenan cierta actividad hasta en reposo, con estimulacin nula. Estos
Pgina 5 de 17

Redes Neuronales Artificiales

Egan, Fiore, Micheletti y Oliva

descubrimientos llevaron al uso de funciones no lineales con esas caractersticas, como la funcin sigmoidal, con un perfil parecido al escaln de una funcin de umbral, pero continua. 2. Sigmoidal: Es probablemente la funcin de activacin ms empleada en la actualidad. Se trata de una funcin continua no lineal. La funcin sigmoidal posee un rango comprendido entre 0 y 1. Esto, aplicado a las unidades de proceso de una red neuronal artificial significa que, sea cual sea la entrada, la salida estar comprendida entre 0 y 1. La salida de una unidad vale 0.5 cuando la entrada es nula, esto significa que la unidad tiene cierta actividad an en ausencia de estimulacin. Al aumentar la estimulacin la unidad aumenta su activacin, y la disminuye si la estimulacin es inhibitoria, de forma parecida a como se comportan las neuronas reales. Presenta las siguientes caractersticas deseables: a. Acomodacin de seales muy intensas sin producir saturacin. b. Admite seales dbiles sin excesiva atenuacin La principal limitacin de esta funcin es que no sirve para expresar polaridades, da siempre valores positivos. Una funcin alternativa con cualidades parecidas pero con un rango entre -1 y 1 es la funcin tangente hiperblica. 3. Gaussiana: La salida de la neurona se calcula a partir de una funcin de activacin llamada funcin radial. La ms empleada es la funcin gaussiana: (r) = e-r2/22 El parmetro (de escala) mide la anchura de la gaussiana y equivale al radio de influencia de la neurona en el espacio de entradas: cuanto mayor sea mayor es el radio de influencia. La eleccin de la funcin de activacin depende fuertemente del algoritmo de aprendizaje que se vaya a utilizar.

3.3 Arquitectura
Se utiliza una matriz W con todos los pesos, Si wji es positivo indica que la relacin entre las neuronas es excitadora, es decir, siempre que la neurona i est activada, la neurona j recibir una seal que tender a activarla. Si wji es negativo, la sinapsis ser inhibidora. En este caso si i est activada, enviar una seal que desactivar a j. Finalmente si wji es 0 se supone que no hay conexin entre ambas. Una red neuronal se determina por el tipo de neuronas y la matriz de pesos . El comportamiento de la red depende en gran medida del comportamiento de la matriz de pesos. Normalmente los elementos de proceso se organizan como una secuencia de capas con un determinado patrn de interconexin entre los diferentes elementos de proceso que las forman, y con un patrn de conexin entre los elementos de proceso de las distintas capas. Uno de los rasgos que puede ayudar a definir una capa es el hecho de que todos los elementos de proceso que la forman usan la misma funcin de transferencia. En muchas de las arquitecturas de redes neuronales se puede hacer la siguiente distincin entre las capas: 1. Capa de entrada. Es la capa que recibe los estmulos del entorno. No suele tener asociado un mecanismo de aprendizaje, es decir, sus pesos se mantienen constantes, y su misin simplemente es la de distribuir dicha entrada al resto de los elementos de proceso que constituyen la red.

Pgina 6 de 17

Redes Neuronales Artificiales

Egan, Fiore, Micheletti y Oliva

2. Capa de salida : Es la capa sobre la que se forman las salidas de la red, actuando como interfaz o buffer de salida, almacenando la respuesta de la red para que pueda ser leda. 3. Capas ocultas: Son las dems capas que no son ni de entrada ni de salida. Principales encargadas de extraer, procesar y memorizar la informacin Entre dos capas de neuronas existe una red de pesos de conexin, que puede ser de los siguientes tipos: Hacia delante, hacia atrs, lateral y de retardo, tal como puede verse en la siguiente figura:
Lateral

a inputs FeedBack FeedForward wij x inputs

N inputs

Una de las propiedades fundamentales de las redes neuronales es la capacidad de adaptarse al entorno, aprendiendo a proporcionar la respuesta adecuada ante los estmulos que reciba de este entorno. Este aprendizaje se plasma en la modificacin de los pesos de las conexiones entre los distintos elementos que forman la red. Existen muchos tipos de aprendizaje dependiendo del modo en que es realizado el ajuste de los pesos. En un principio, los pesos pueden ser considerados parmetros libres, aunque es posible, si se conoce informacin acerca de la naturaleza del problema que se va a tratar, fijar restricciones a los valores iniciales del los pesos, o a los valores que puedan tomar a lo largo del proceso de aprendizaje. Un conjunto de reglas bien definidas que describen el mtodo de adaptacin o modificacin de los pesos de acuerdo con el entorno en el que se encuentra sumergida la red recibe el nombre de regla de aprendizaje, y su trascripcin en forma de procedimiento se denomina algoritmo de aprendizaje. Existe una relacin muy fuerte entre la arquitectura de una red neuronal artificial y el o los algoritmos de aprendizaje que puede usar, de tal modo que diferentes arquitecturas de redes neuronales requieren diferentes algoritmos de aprendizaje.

3.4 Caractersticas
Existen cuatro aspectos que caracterizan una red neuronal: su topologa, el mecanismo de aprendizaje, tipo de asociacin realizada entre la informacin de entrada y salida, y la forma de representacin de estas informaciones.

3.4.1 Topologa
Consiste en la organizacin y disposicin de las neuronas en la red formando capas o agrupaciones de neuronas. Los parmetros fundamentales de la red son: nmero de capas, nmero de neuronas por capa, grado de conectividad y tipo de conexin entre neuronas.
Pgina 7 de 17

Redes Neuronales Artificiales

Egan, Fiore, Micheletti y Oliva

Al hacer una clasificacin topolgica de las RNAs se suelen distinguir: 1. Redes monocapa: se establecen conexiones laterales entre las neuronas que pertenecen a la nica capa que constituye la red. Ejemplos de redes de este tipo son la redes Hopfield y la rede Brain-State-In-A-Box. Las redes monocapa se utilizan tpicamente en tareas relacionadas con lo que se conoce como autoasociacin; por ejemplo, para regenerar informaciones de entrada que se presenta como incompleta o distorsionada. 1. Hopfield: redes de adaptacin probabilstica, recurrentes, funcionalmente entraran en la categora de las memorias autoasociativas. 2. Brain-State-In-A-Box: Pertenece a la categora de las redes competitivas o mapas de autoorganizacin, es decir, aprendizaje no supervisado. Clasifican los patrones de entrada en grupos de caractersticas similares. 2. Redes multicapa: disponen las neuronas agrupadas en varios niveles. Dado que este tipo de redes disponen de varias capas, las conexiones entre neuronas pueden ser del tipo feedforward (conexin hacia adelante) o del tipo feedback (conexin hacia atrs). 1. FeedForward: se interconectan varias unidades de procesamiento en capas, las neuronas de cada capa no se interconectan entre s. Sin embargo, cada neurona de una capa proporciona una entrada a cada una de las neuronas de la siguiente capa. Resuelve fundamentalmente problemas de reconocimiento de patrones. 2. Feedback: conexin hacia atrs. Se utiliza por ejemplo en procesos de reconocimiento de formas visuales.

3.4.2 Algoritmos de aprendizaje

Los cambios que se producen durante el proceso de aprendizaje se reducen a la destruccin, modificacin y creacin de conexiones entre las neuronas, la creacin de una nueva conexin implica que el peso de la misma pasa a tener un valor distinto de cero, una conexin se destruye cuando su peso pasa a ser cero. Se puede afirmar que el proceso de aprendizaje ha finalizado (la red ha aprendido) cuando los valores de los pesos permanecen estables. Una de las principales ideas sobre las que se basan las redes neuronales artificiales es la de responder a los estmulos del entorno mediante un proceso de aprendizaje por el cual va adaptando los pesos de las conexiones de sus elementos de proceso, de tal forma que memoriza los ejemplos de entrenamiento que se le presentan. El paradigma de aprendizaje indica la forma en que el entorno influye en ese proceso de aprendizaje. As, el paradigma de aprendizaje puede ser: 1. Supervisado: Se presentan los conocimientos en forma de pares de [entrada, salida deseada]. En el entrenamiento Supervisado, los patrones de entrenamiento se dan en forma de lista de pares de entrada/maestro,[x,t]={[x 1,t1], [x2,t3],..., [xm,tm]} donde M es el nmero de pares de entrenamiento. Dependiendo de la naturaleza de la informacin del maestro, hay dos aproximaciones al entrenamiento supervisado. Uno se basa en la correccin a partir de una decisin y la otra se basa en la optimizacin de un criterio de coste. Las formulaciones de decisin y aproximacin difieren en la informacin que tienen los maestros y la forma de usarla. Se 2. No supervisado: Durante este proceso de aprendizaje a la red no se le presenta la salida deseada. Una clase de modelos de entrenamiento no supervisado son las redes de pesos fijos. Un ejemplo son las redes de Memoria Asociativa, que se usan para obtener patrones originales libres de ruido a partir de seales incompletas o distorsionadas. La principal caracterstica de las redes
Pgina 8 de 17

Redes Neuronales Artificiales

Egan, Fiore, Micheletti y Oliva

asociativas de pesos fijos es que sus pesos son preestablecidos y precalculados. 3. Por refuerzo (supervisado). El instructor o maestro exterior slo indica cuando la salida es correcta o no, pero no indica en cuanto se diferencia de la salida buscada. Si se compara este paradigma con el supervisado, se observa que si bien el supervisado proporciona una informacin relativa a la direccin en la que se deben realizar los cambios en el sistema (ajuste de los pesos), en el caso de un aprendizaje por refuerzo no se tiene informacin acerca de la direccin del cambio, lo cual hace que su mbito de aplicacin sea mucho ms reducido comparado con el modo supervisado, aunque presenta inters en la comunidad cientfica dedicada al estudio de las mquinas capaces de aprender. 4. Aprendizaje hbrido: Se trata de una combinacin del aprendizaje supervisado y del no supervisado. Parte de los pesos se ajustan por medio de un esquema de aprendizaje supervisado, y el resto se obtienen por medio de un aprendizaje no supervisado. Formas de llevar a cabo el aprendizaje: Paradigma Forma de Aprendizaje Aprendizaje por correccin de error: Consiste en ajustar los pesos en funcin de la diferencia entre los valores deseados y los obtenidos en la salida de la red; es decir, en funcin del error. Aprendizaje por refuerzo: La funcin del supervisor se reduce a indicar mediante una seal de refuerzo si la salida obtenida en la red se ajusta a la deseada (xito=+1 o fracaso=-1), y en funcin de ello se ajustan los pesos basndose en un mecanismo de probabilidades. Aprendizaje estocstico: Este tipo de aprendizaje consiste bsicamente en realizar cambios aleatorios en los valores de los pesos de las conexiones de la red y evaluar su efecto a partir del objetivo deseado y de distribuciones de probabilidad. Aprendizaje Hebbiano: Consiste bsicamente en el ajuste de los pesos de las conexiones de acuerdo con la correlacin, as si las dos unidades son activas (positivas), se produce un reforzamiento de la conexin. Por el contrario cuando un es activa y la otra pasiva (negativa), se produce un debilitamiento de la conexin. Aprendizaje competitivo y cooperativo: Las neuronas compiten (y cooperan) unas con otras con el fin de llevar a cabo una tarea dada. Con este tipo de aprendizaje se pretende que cuando se presente a la red cierta informacin de entrada, solo una de las neuronas de salida se active (alcance su valor de respuesta mximo). Por tanto las neuronas compiten por activarse, quedando finalmente una, o una por grupo, como neurona vencedora.

Supervisado

No Supervisado

3.4.3 Tipo de Asociacin entre las Entradas y Salidas

Las RNA son sistemas que almacenan cierta informacin aprendida; est informacin se registra de forma distribuida en los pesos asociados a las conexiones entre neuronas de entrada y salida. Existen dos formas primarias de realizar esa asociacin de entrada/salida. Una primera sera la denominada heteroasociacin,
Pgina 9 de 17

Redes Neuronales Artificiales

Egan, Fiore, Micheletti y Oliva

que se refiere al caso en el que la red aprende parejas de datos [(A 1, B1), (A2, B2) (An, Bn)], de tal forma que cuando se presente cierta informacin de entrada A i, deber responder generando la correspondiente salida B i. La segunda se conoce como autoasociacin, donde la red aprende ciertas informaciones A 1, A2An, de tal forma que cuando se le presenta una informacin de entrada realizar una autocorrelacin, respondiendo con uno de los datos almacenados, el ms parecido al de la entrada. Una red heteroasociativa podra considerarse aquella que computa cierta funcin, que en la mayora de los casos no podr expresarse analticamente, entre un conjunto de entradas y un conjunto de salidas, correspondiendo a cada posible entrada una determinada salida. Existen redes heteroasociativas con conexiones feedforward, feedforward/feedback y redes con conexiones laterales. Tambin existen redes heteroasociativas multidimensionales y su aprendizaje puede ser supervisado o no supervisado. Por otra parte, una red autoasociativa es una red cuya principal misin es reconstruir una determinada informacin de entrada que se presenta incompleta o distorsionada (le asocia el dato almacenado ms parecido). Pueden implementarse con una sola capa, existen conexiones laterales o tambin autorrecurrentes, habitualmente son de aprendizaje no supervisado.

3.4.4 Operaciones de capa

Se trata de operaciones que afectan a la capa como un todo. En principio, se considerarn las siguientes: Normalizacin: Cada elemento de proceso de la capa considerada ajusta su salida para dar un nivel constante de actividad (considerando las salidas de todos los elementos de proceso que forman la capa). Competencia: Slo uno o unos pocos elementos de proceso de una capa ganan y producen salida, inhibiendo la generacin de las salidas en el resto.

3.4.5 Tipo de Operacin

Tambin es posible caracterizar a las redes neuronales teniendo en cuenta la forma de operar a la hora de generar la salida o al actualizar los pesos. As se tiene: Operacin sncrona: Se dice que una red neuronal opera de forma sncrona cuando todos los elementos de proceso del sistema generan la salida a la vez. Operacin asncrona: Se dice que una red opera de forma asncrona cuando los elementos de proceso que la constituyen generan la salida aleatoriamente e independientemente unos de otros. En estos casos puede aadirse a los elementos de proceso entradas de control que indiquen cuando han de ser actualizados los pesos de sus conexiones con los otros elementos de proceso. Tngase en cuenta que en muchos modelos de redes la actualizacin de los pesos requiere la ejecucin de la red a fin de calcular el correspondiente error, luego el cambio en el valor de los pesos tambin queda influido por el modo de operacin sncrona o asncrona.

3.5 Implementacin
En la bsqueda de sistemas inteligentes en general, se ha llegado a un importante desarrollo del software, dentro de esta lnea se encuentran algunos de los neurocomputadores ms conocidos. Un neurocomputador es bsicamente un conjunto de procesadores conectados con cierta regularidad que operan concurrentemente. En la actualidad ya existen un serie de neurocomputadores
Pgina 10 de 17

Redes Neuronales Artificiales

Egan, Fiore, Micheletti y Oliva

comerciales destinados a la realizacin de redes neuronales. Por otro lado la realizacin de RNA puede llevarse a cabo por medio de uno o varios circuitos integrados especficos, para as poder obtener una estructura que se comporte lo ms similar posible a como lo hara una red neuronal. Otra tecnologa que podra ser apropiada en la implementacin de las redes neuronales es la tecnologa electroptica, con la ventaja de utilizar la luz como medio de transporte de la informacin, permitiendo la transmisin, masiva de datos.

3.5.1 Realizacin de Redes Neuronales

La realizacin ms simple e inmediata consiste en simular la red sobre un ordenador convencional mediante un software especfico. Es un procedimiento rpido, econmico, e instituible, pero su mayor desventaja radica en el hecho de que se intentan simular redes con un alto grado de paralelismo sobre mquinas que ejecuten secuencialmente las operaciones. Valores intrnsecos de las redes neuronales no pueden obtenerse de esta forma. Otro mtodo es la realizacin de redes neuronales a travs de arquitecturas orientadas a la ejecucin de procesos con un alto grado de paralelismo, tales como redes de transputers, arquitecturas sistlicas, etc. Este mtodo es una optimizacin del anterior, ya que acelera el proceso, permitiendo una respuesta en tiempo real, pero el comportamiento real de la red sigue siendo simulado por una estructura ajena a la estructura intrnseca de una red neuronal. Una tercera aproximacin radicalmente distinta es la realizacin de redes neuronales mediante su implementacin por uno o varios circuitos integrados especficos. Son los llamados chips neuronales. Las neuronas y las conexiones se emulan con dispositivos especficos, de forma que la estructura del circuito integrado refleja la arquitectura de la red. Neurocomputadores de propsito especial y de propsito general: Como se dijo anteriormente un neurocomputador es bsicamente un conjunto de procesadores conectados con cierta regularidad que operan concurrentemente. Los de propsito general deben ser capaces de emular un gran nmero de modelos de red neuronal. Los de propsito especial han sido diseados para implementar un modelo especfico de red neuronal.

3.5.2 Implementacin microelectrnica

Implementacin microelectrnica (VLSI). En general si la red ha estado previamente simulada y su configuracin de conexiones perfectamente determinada, se busca la implementacin sobre un circuito de conexiones fijas. La presentacin del panorama que actualmente existe en el mbito de la implementacin VLSI de redes neuronales resulta complicada por la gran cantidad de aportaciones existentes, tanto en soluciones analgicas como digitales y con la alternativa de matriz de neuronas o de sinapsis.

3.5.3 Herramientas software de desarrollo

La comercializacin de productos software es la forma ms extendida para simular redes neuronales, debido a las ventajas citadas anteriormente. La diferencia entre los distintos productos software radica en aspectos tales como el tipo y el nmero de arquitecturas de red que soporta, velocidad de procesamiento, interfaz grfica, exportacin de cdigo C para el desarrollo automtico de aplicaciones, etc. Algunos de los productos comerciales son: ANSim (DOS) ExpertNet (DOS, Windows) Neuralesk (Windows) Neuralworks Pro II/Plus (DOS, OS/2, UNIX, VMS)
Pgina 11 de 17

Redes Neuronales Artificiales

Egan, Fiore, Micheletti y Oliva

3.5.4 Aplicaciones
A continuacin Neuronales: se enumera algunas de las aplicaciones de Redes

1. Empresa: a. Reconocimiento de caracteres escritos. b. Identificacin de candidatos para posiciones especficas. c. Optimizacin de plazas y horarios en lneas de vuelo. d. Explotacin de bases de datos. e. Evaluacin de probabilidad de formaciones geolgicas y petrolferas. f. Sntesis de voz desde texto. 2. Medio Ambiente 3. Analizar tendencias y patrones. 4. Previsin del tiempo. 5. Finanzas a. Previsin de la evolucin de los precios. b. Valoracin del riesgo de los crditos. c. Identificacin de falsificaciones. d. Interpretacin de firmas. 6. Manufacturacin a. Robots automatizados y sistemas de control (visin artificial y sensores de presin, temperatura, gas, etc.) b. Control de produccin en lneas de proceso. c. Inspeccin de calidad. d. Filtrado de seales. 7. Militares a. Clasificacin de las seales de radar. b. Creacin de armas inteligentes. c. Optimizacin del uso de recursos escasos.

3.6 Ventajas
Debido a su constitucin y a sus fundamentos, las RNA presentan un gran nmero de caractersticas semejantes a las del cerebro. Por ejemplo, son capaces de aprender de la experiencia, de generalizar casos anteriores, nuevos casos, de abstraer caractersticas esenciales a partir de entradas que representan informacin irrelevante, etc. Esto hace que ofrezcan numerosas ventajas y que este tipo de tecnologa se est aplicando en mltiples reas. Estas ventajas incluyen: Aprendizaje Adaptativo: Es una de las caractersticas ms atractivas de las redes neuronales, es la capacidad de aprender a realizar tareas basadas en un entrenamiento o una experiencia inicial. En el proceso de aprendizaje, los enlaces ponderados de las neuronas se ajustan de manera que se obtengan unos resultados especficos. Una RNA no necesita un algoritmo para resolver un problema, ya que ella puede generar su propia distribucin de los pesos de los enlaces mediante el aprendizaje. Tambin existen redes que continan aprendiendo a lo largo de su vida, despus de completar el perodo inicial de entrenamiento. La funcin del diseador es nicamente la obtencin de la arquitectura apropiada. No es problema del diseador el cmo la red aprender a discriminar; sin embargo, si es necesario que desarrolle un buen algoritmo de aprendizaje que proporcione la capacidad de discriminar de la red mediante un entrenamiento con patrones. Autoorganizacin: Las redes neuronales usan su capacidad de aprendizaje adaptativo para organizar la informacin que reciben durante el aprendizaje y/o la operacin. Una RNA puede crear su propia organizacin o representacin de la informacin que recibe mediante una
Pgina 12 de 17

Redes Neuronales Artificiales

Egan, Fiore, Micheletti y Oliva

etapa de aprendizaje. Esta autoorganizacin provoca la facultad de las redes neuronales de responder apropiadamente cuando se les presentan datos o situaciones a los que no haban sido expuestas anteriormente. Tolerancia a Fallos: Comparados con los sistemas computacionales tradicionales, los cuales pierden su funcionalidad en cuanto sufren un pequeo error de memoria, en las redes neuronales, si se produce un fallo en un pequeo nmero de neuronas, aunque el comportamiento del sistema se ve influenciado, sin embargo no sufre una cada repentina. Hay dos aspectos distintos respecto a la tolerancia a fallos: 1. Las redes pueden aprender a reconocer patrones con ruido, distorsionados, o incompleta. 2. Pueden seguir realizando su funcin (con cierta degradacin) aunque se destruya parte de la red. La razn por la que las redes neuronales son tolerantes a fallos es que tienen su informacin distribuida en las conexiones entre neuronas, existiendo cierto grado de redundancia en ese tipo de almacenamiento, a diferencia de la mayora de los ordenadores algortmicos y sistemas de recuperacin de datos que almacenan cada pieza de informacin en un estado nico, localizado y direccionable. Operacin en Tiempo Real: Los computadores neuronales pueden ser realizados en paralelo, y se disean y fabrican mquinas con hardware especial para obtener esta capacidad. Fcil insercin dentro de la tecnologa existente: Debido a que una red puede ser rpidamente entrenada, comprobada, verificada y trasladada a una implementacin hardware de bajo costo, es fcil insertar RNA para aplicaciones especficas dentro de sistemas existentes (chips, por ejemplo). De esta manera, las redes neuronales se pueden utilizar para mejorar sistemas de forma incremental, y cada paso puede ser evaluado antes de acometer un desarrollo ms amplio.

4 El Perceptrn
A continuacin daremos un ejemplo sencillo de una red neuronal artificial, el Perceptrn.

X0

-W0

X1

W1 W2 3 X3

X2

Capa Entrada

Capa Salida

4.1 Estructura
Un Perceptrn simple consta de dos niveles o capas. El primer nivel est compuesto por dos unidades de entrada. El segundo por una unidad de salida. Las
Pgina 13 de 17

Redes Neuronales Artificiales

Egan, Fiore, Micheletti y Oliva

conexiones entre las dos neuronas de entrada y la neurona de salida presentan pesos sinpticos ajustables mediante el entrenamiento. Y a su vez, el valor umbral (U) de la neurona 3 puede ser ajustado como un peso sinptico ms, al considerar U = -W0 asociado a una neurona bias (siempre activa: X0 = 1). Y la condicin de activacin de la neurona 3 sera: X0W0 + X1W1 + X2W2 > 0 <-> Activacin Adems, en este modelo, cada neurona de una capa "transmite" su estado de activacin (0 o 1) a la siguiente capa de neuronas, y despus deja de estar activa. Ahora, entrenaremos la red de manera que la neurona 3 se active slo si las neuronas 1 y 2 estn activas, y permanezca inactiva en caso contrario. Hay as cuatro posibles casos: X1 Caso Caso Caso Caso 1 2 3 4 0 0 1 1 X2 0 1 0 1 Salida (X3) 0 0 0 1

Para entrenar esta red, usaremos una regla de aprendizaje derivada del mtodo de aprendizaje Hebbiano. Esta regla consiste en: 1. Si la salida generada por la neurona 3 (para los valores de las otras dos neuronas) es la correcta, no se realizan ajustes de los pesos sinpticos. 2. Si la salida es 1 pero debera ser 0, se reducen slo los pesos de las conexiones activas segn una constante C. 3. Si la salida es 0 pero debera ser 1, entonces se aumentan slo los pesos de las conexiones activas segn la misma constante C. As, en cada ciclo de entrenamiento: Se presenta un dato de entrada (formado por los valores de las neuronas 1 y 2) del conjunto de datos de entrenamiento. La red, a partir del dato de entrada generar un dato de salida. Se aplica la regla anterior, que mide la eficiencia de la red y acta en consecuencia. Se realizan diferentes ciclos de entrenamiento con los valores de entrenamiento hasta que la red responda correctamente a todos los datos de entrada (en todos los casos de entrenamiento) o hasta que la red ya no pueda aprender ms. De esta forma, si partimos de unos pesos sinpticos iguales a 0 (W 1 = W2 = W0 = 0) y de una constante de refuerzo igual a 1 (C = 1): Introducimos el dato de entrada del caso 1: (X1, X2) = (0, 0). Puesto que todos los pesos valen 0: X0W0 + X1W1 + X2W2 = 0 <-> Inactivacin As el valor de salida de la neurona 3 es 0, y como el valor de la neurona 3 tenia que ser 0 (segn el caso 1 de entrenamiento), no se realizan ajustes de los pesos. Introducimos el dato de entrada del caso 4: (X1, X2) = (1, 1). Puesto que todos los pesos valen 0: X0W0 + X1W1 + X2W2 = 0 <-> Inactivacin Pero, como el valor de salida de la neurona 3 es 0, y tenia que ser 1 (segn el caso 4 de entrenamiento), los pesos de las conexiones activas se aumentan en un valor de C. o W1 = W 1 + C = 0 + 1 = 1 o W2 = W 2 + C = 0 + 1 = 1
Pgina 14 de 17

Redes Neuronales Artificiales

Egan, Fiore, Micheletti y Oliva

o W0 = W 0 + C = 0 + 1 = 1 Y se continuara de esta manera hasta terminar el entrenamiento, en cuyo caso obtendramos los siguientes pesos sinpticos ajustados: Peso Sinptico W1 W2 W0 Entonces: Regla de Activacin X 0 * W0 + X 1 * W1 + X 2 * 1 1 1 1 * * * * (-2) (-2) (-2) (-2) + + + + 0 0 1 1 * * * * 1 1 1 1 + + + + 0 1 0 1 * * * * W2 2 2 2 2 > = = = = 0 -2 0 -1 1 0 0 0 1 Salida X3 Valor 1 2 -2

X1 X2 X0 W1 W2 W0 0 0 1 1 0 1 0 1 1 1 1 1 1 1 1 1 2 2 2 2 -2 -2 -2 -2

As, le hemos enseado la funcin AND a la red neuronal Artificial.

Pgina 15 de 17

Redes Neuronales Artificiales

Egan, Fiore, Micheletti y Oliva

5 Bibliografa
Juan Antonio Prez Ortiz Julio de 2002 - Tesis Doctoral: Modelos Predictivos Basados en Redes Neuronales Recurrentes de Tiempo Discreto Universidad de Alicante Carlos Enrique Vivaracho Pascual y Quiliano Isaac Moro Sanchoi Abrill 2001 Redes Neuronales Artificiales
http://www.e-torredebabel.com/Psicologia/Conexionismo/ConexionismoBibliografia.htm

.shtml

http://www.iiia.csic.es/~mario/Tutorial/RNA_intro.htm http://www.monografias.com/trabajos/redesneuro/redesneuro http://www.gui.uva.es/login/13/redesn.html http://answermath.com/redes_neuronales_o_neurales.htm http://www.monografias.com/trabajos12/redneur/redneur.sht http://www.gc.ssr.upm.es/inves/neural/ann2/anntutorial.html

ml

Pgina 16 de 17

Redes Neuronales Artificiales

Egan, Fiore, Micheletti y Oliva

6 ndice
1 Introduccin................................................................................................................................ 2 1.1 Definicin..............................................................................................................................2 1.2 Resea Histrica................................................................................................................. 2 2 El Modelo Biolgico....................................................................................................................3 2.1 Plasticidad.............................................................................................................................4 3 Red Neuronal Artificial...............................................................................................................4 3.1 Componentes........................................................................................................................4 3.1.1 Unidad de Proceso..........................................................................................................4 3.1.2 Estado de Activacin......................................................................................................4 3.1.3 Regla de Aprendizaje......................................................................................................4 3.2 Modelo de Neurona..............................................................................................................5 3.3 Arquitectura.........................................................................................................................6 3.4 Caractersticas......................................................................................................................7 3.4.1 Topologa........................................................................................................................7 3.4.2 Algoritmos de aprendizaje..............................................................................................8 3.4.3 Tipo de Asociacin entre las Entradas y Salidas............................................................9 3.4.4 Operaciones de capa..................................................................................................... 10 3.4.5 Tipo de Operacin........................................................................................................ 10 3.5 Implementacin..................................................................................................................10 3.5.1 Realizacin de Redes Neuronales.................................................................................11 3.5.2 Implementacin microelectrnica.................................................................................11 3.5.3 Herramientas software de desarrollo............................................................................ 11 3.5.4 Aplicaciones..................................................................................................................12 3.6 Ventajas.............................................................................................................................. 12 4 El Perceptrn.............................................................................................................................13 4.1 Estructura...........................................................................................................................13 5 Bibliografa................................................................................................................................16 6 ndice..........................................................................................................................................17

Pgina 17 de 17