Redes Neuronales

UNIVERSIDAD CATOLICA DE VALPARAISO FACULTAD DE INGENIERIA ESCUELA DE INGENIERA INFORMATICA
INGENIERIA DE SOFTWARE INF 350-1

TRABAJO DE REDES NEURONALES
Y ALGORITMOS DE PRIMER ORDEN
Redes Neuronales y Algoritmos de Primer Orden
INDICE
INGENIERIA DE SOFTWARE..........................................................................................................1 INF 350-1.........................................................................................................................................1 TRABAJO DE REDES NEURONALES ...................................................................................1 1 Introduccin.......................................................................................................................................3 1.1 Acerca de las redes neuronales...................................................................................................3 2 Resea Histrica...............................................................................................................................5 2.1 Historia de las redes neuronales.................................................................................................5 3 Generalidades....................................................................................................................................7 3.1 Definiciones de una red neuronal...............................................................................................7 3.2 Ventajas que ofrecen las red neuronal........................................................................................8 3.2.1 Aprendizaje Adaptativo.......................................................................................................8 3.2.2 Auto-organizacin...............................................................................................................9 3.2.3 Tolerancia a fallos.............................................................................................................10 3.2.4 Operacin en tiempo real...................................................................................................10 3.2.5 Fcil insercin dentro de la tecnologa existente...............................................................11 3.3 Redes neuronales y computadoras digitales.............................................................................11 4. ELEMENTOS BASICOS..............................................................................................................12 4.1 Elementos bsicos que componen una red neuronal................................................................12 4.1.1 Funcin de entrada (input function)..................................................................................13 4.1.2 Funcin de activacin (activation function)......................................................................14 4.1.3 Funcin de salida (output function)...................................................................................17 5 Aprendizaje de una Red Neuronal ..................................................................................................17 5.1 Niveles o capas de una red neuronal........................................................................................17 5.2 Tipos de neuronas artificiales...............................................................................................18 5.3 Mecanismos de Aprendizaje.....................................................................................................19 5.4 Aprendizaje supervisado......................................................................................................20 5.4.1 Aprendizaje por correccin de error..................................................................................20 5.4.2 Aprendizaje por refuerzo...................................................................................................22 6 Principales Topologas....................................................................................................................30 6.1 Topologa de las redes neuronales............................................................................................30 6.8 Asociaciones entre la informacin de entrada y salida............................................................37 6.8.1 Redes heteroasociativas.....................................................................................................39 6.8.2 Redes autoasociativas........................................................................................................39 7. Aplicaciones...................................................................................................................................40 7.1 Aplicaciones de las Redes Neuronales.........................................................................................40 7.1.1 Asociacin y clasificacin.................................................................................................41 7.1.2 Regeneracin de patrones..................................................................................................42 7.1.3 Regeneracin y generalizacin..............................................................................................43 7.1.4 Optimizacin.........................................................................................................................43 7.2 Casos concretos de aplicacin..................................................................................................43 7.2.1 Planificacin del staff (cuerpo) de empleados...................................................................44 Trabajo de Investigacin 2
Redes Neuronales y Algoritmos de Primer Orden 7.2.2 Planificacin de la demanda de materiales............................................................................46 7.2.3 Puntuacin para la solicitud de un crdito.............................................................................49 8.- SOFTWARE COMERCIALES....................................................................................................52 1 Introduccin 1.1 Acerca de las redes neuronales. El hombre se ha caracterizado siempre por su bsqueda constante de nuevas vas para mejorar sus condiciones de vida. Estos esfuerzos le han servido para reducir el trabajo en aquellas operaciones en las que la fuerza juega un papel primordial. Los progresos obtenidos han permitido dirigir estos esfuerzos a otros campos, como por ejemplo, a la construccin de mquinas calculadoras que ayuden a resolver de forma automtica y rpida determinadas operaciones que resultan tediosas cuando se realizan a mano. Uno de los primeros en acometer esta empresa fue Charles Babbage, quien trat infructuosamente de construir una mquina capaz de resolver problemas matemticos. Posteriormente otros tantos intentaron construir mquinas similares, pero no fue hasta la Segunda Guerra Mundial, cuando ya se dispona de instrumentos electrnicos, que se empezaron a recoger los primeros frutos. En 1946 se construy la primera computadora electrnica, ENIAC. Desde entonces los desarrollos en este campo han tenido un auge espectacular. Estas mquinas permiten implementar fcilmente algoritmos para resolver multitud de problemas que antes resultaban engorrosos de resolver. Sin embargo, se observa una limitacin importante: qu ocurre cuando el problema que se quiere resolver no admite un tratamiento algortmico, como es el caso, por ejemplo, de la clasificacin de objetos por rasgos comunes? Este ejemplo demuestra que la construccin de nuevas mquinas ms verstiles requiere un enfoque del problema desde otro punto de vista. Los desarrollos actuales de los cientficos se dirigen al estudio de las capacidades humanas como una fuente de nuevas ideas para el diseo de las nuevas mquinas. As, la inteligencia artificial es un intento por descubrir y describir aspectos de la inteligencia humana que pueden ser simulados mediante mquinas. Esta disciplina se ha desarrollado fuertemente en los ltimos aos teniendo aplicacin en algunos campos como visin artificial, demostracin de teoremas, procesamiento de informacin
Trabajo de Investigacin
Redes Neuronales y Algoritmos de Primer Orden expresada mediante lenguajes humanos... etc. Las redes neuronales son ms que otra forma de emular ciertas caractersticas propias de los humanos, como la capacidad de memorizar y de asociar hechos. Si se examinan con atencin aquellos problemas que no pueden expresarse a travs de un algoritmo, se observar que todos ellos tienen una caracterstica en comn: la experiencia. El hombre es capaz de resolver estas situaciones acudiendo a la experiencia acumulada. As, parece claro que una forma de aproximarse al problema consista en la construccin de sistemas que sean capaces de reproducir esta caracterstica humana. En definitiva, las redes neuronales no son ms que un modelo artificial y simplificado del cerebro humano, que es el ejemplo ms perfecto del que disponemos para un sistema que es capaz de adquirir conocimiento a travs de la experiencia. Una red neuronal es un nuevo sistema para el tratamiento de la informacin, cuya unidad bsica de procesamiento est inspirada en la clula fundamental del sistema nervioso humano: la neurona. Todos los procesos del cuerpo humano se relacionan en alguna u otra forma con la (in)actividad de estas neuronas. Las mismas son un componente relativamente simple del ser humano, pero cuando millares de ellas se conectan en forma conjunta se hacen muy poderosas. Lo que bsicamente ocurre en una neurona biolgica es lo siguiente: la neurona es estimulada o excitada a travs de sus entradas (inputs) y cuando se alcanza un cierto umbral, la neurona se dispara o activa, pasando una seal hacia el axon. Posteriores investigaciones condujeron al descubrimiento de que estos procesos son el resultado de eventos electroqumicos. Como ya se sabe, el pensamiento tiene lugar en el cerebro, que consta de billones de neuronas interconectadas. As, el secreto de la inteligencia sin importar como se defina se sita dentro de estas neuronas interconectadas y de su interaccin. Tambin, es bien conocido que los humanos son capaces de aprender. Aprendizaje significa que aquellos problemas que inicialmente no pueden resolverse, pueden ser resueltos despus de obtener ms informacin acerca del problema. Por lo tanto, las Redes Neuronales... Consisten de unidades de procesamiento que intercambian datos o informacin. Se utilizan para reconocer patrones, incluyendo imgenes, manuscritos y secuencias de tiempo (por ejemplo: tendencias financieras).
Redes Neuronales y Algoritmos de Primer Orden Tienen capacidad de aprender y mejorar su funcionamiento. Una primera clasificacin de los modelos de redes neuronales podra ser, atendiendo a su similitud con la realidad biolgica: El modelo de tipo biolgico. Este comprende las redes que tratan de simular
los sistemas neuronales biolgicos, as como las funciones auditivas o algunas funciones bsicas de la visin. El modelo dirigido a aplicacin. Este modelo no tiene por qu guardar similitud con los sistemas biolgicos. Su arquitectura est fuertemente ligada a las necesidades de las aplicaciones para la que es diseada. 2 Resea Histrica 2.1 Historia de las redes neuronales. 1936 - Alan Turing. Fue el primero en estudiar el cerebro como una forma de ver el mundo de la computacin. Sin embargo, los primeros tericos que concibieron los fundamentos de la computacin neuronal fueron Warren McCulloch, un neurofisilogo, y Walter Pitts, un matemtico, quienes, en 1943, lanzaron una teora acerca de la forma de trabajar de las neuronas (Un Clculo Lgico de la Inminente Idea de la Actividad Nerviosa - Boletn de Matemtica Biofsica 5: 115133). Ellos modelaron una red neuronal simple mediante circuitos elctricos. 1949 - Donald Hebb. Fue el primero en explicar los procesos del aprendizaje (que es el elemento bsico de la inteligencia humana) desde un punto de vista psicolgico, desarrollando una regla de como el aprendizaje ocurra. Aun hoy, este es el fundamento de la mayora de las funciones de aprendizaje que pueden hallarse en una red neuronal. Su idea fue que el aprendizaje ocurra cuando ciertos cambios en una neurona eran activados. Tambin intent encontrar semejanzas entre el aprendizaje y la actividad nerviosa. Los trabajos de Hebb formaron las bases de la Teora de las Redes Neuronales.
Redes Neuronales y Algoritmos de Primer Orden 1950 - Karl Lashley. En sus series de ensayos, encontr que la informacin no era almacenada en forma centralizada en el cerebro sino que era distribuida encima de l. 1956 - Congreso de Dartmouth. Este Congreso frecuentemente se menciona para indicar el nacimiento de la inteligencia artificial. 1957 - Frank Rosenblatt. Comenz el desarrollo del Perceptron. Esta es la red neuronal ms antigua; utilizndose hoy en da para aplicacin como identificador de patrones. Este modelo era capaz de generalizar, es decir, despus de haber aprendido una serie de patrones poda reconocer otros similares, aunque no se le hubiesen presentado en el entrenamiento. Sin embargo, tena una serie de limitaciones, por ejemplo, su incapacidad para resolver el problema de la funcin OR-exclusiva y, en general, era incapaz de clasificar clases no separables linealmente. 1959 - Frank Rosenblatt: Principios de Neurodinmica. En este libro confirm que, bajo ciertas condiciones, el aprendizaje del Perceptron converga hacia un estado finito (Teorema de Convergencia del Perceptron). 1960 - Bernard Widroff/Marcian Hoff. Desarrollaron el modelo Adaline (ADAptative LINear Elements). Esta fue la primera red neuronal aplicada a un problema real (filtros adaptativos para eliminar ecos en las lneas telefnicas) que se ha utilizado comercialmente durante varias dcadas. 1961 - Karl Steinbeck: Die Lernmatrix. Red neuronal para simples realizaciones tcnicas (memoria asociativa). 1969 - Marvin Minsky/Seymour Papert. En este ao casi se produjo la muerte abrupta de las Redes Neuronales; ya que Minsky y Papert probaron (matemticamente) que el Perceptrons no era capaz de resolver problemas relativamente fciles, tales como el aprendizaje de una funcin no-lineal. Esto demostr que el Perceptron era muy dbil, dado que las funciones no-lineales son extensamente empleadas en computacin y en los problemas del mundo real. 1974 - Paul Werbos. Desarroll la idea bsica del algoritmo de aprendizaje de propagacin hacia atrs (backpropagation); cuyo significado qued definitivamente aclarado en 1985. Trabajo de Investigacin 6
Redes Neuronales y Algoritmos de Primer Orden 1977 - Stephen Grossberg: Teora de Resonancia Adaptada (TRA). La Teora de Resonancia Adaptada es una arquitectura de red que se diferencia de todas las dems previamente inventadas. La misma simula otras habilidades del cerebro: memoria a largo y corto plazo. 1985 - John Hopfield. Provoc el renacimiento de las redes neuronales con su libro: Computacin neuronal de decisiones en problemas de optimizacin. 1986 - David Rumelhart/G. Hinton. Redescubrieron el algoritmo de aprendizaje de propagacin hacia atrs (backpropagation). A partir de 1986, el panorama fue alentador con respecto a las investigaciones y el desarrollo de las redes neuronales. En la actualidad, son numerosos los trabajos que se realizan y publican cada ao, las aplicaciones nuevas que surgen (sobretodo en el rea de control) y las empresas que lanzan al mercado productos nuevos, tanto hardware como software (sobre todo para simulacin). 3 Generalidades 3.1 Definiciones de una red neuronal. Existen numerosas formas de definir a las redes neuronales; desde las definiciones cortas y genricas hasta las que intentan explicar ms detalladamente qu son las redes neuronales. Por ejemplo: Una nueva forma de computacin, inspirada en modelos biolgicos. Un modelo matemtico compuesto por un gran nmero de elementos procesales organizados en niveles. Un sistema de computacin compuesto por un gran nmero de elementos simples, elementos de procesos muy interconectados, los cuales procesan informacin por medio de su estado dinmico como respuesta a entradas externas. Redes neuronales artificiales son redes interconectadas masivamente en paralelo de elementos simples (usualmente adaptativos) y con organizacin jerrquica, las cuales intentan interactuar con los objetos del mundo real del mismo modo que lo hace el sistema nervioso biolgico. Trabajo de Investigacin 7
3.2 Ventajas que ofrecen las red neuronal. Debido a su constitucin y a sus fundamentos, las redes neuronales artificiales presentan un gran nmero de caractersticas semejantes a las del cerebro. Por ejemplo, son capaces de aprender de la experiencia, de generalizar de casos anteriores a nuevos casos, de abstraer caractersticas esenciales a partir de entradas que representan informacin irrelevante, etc. Esto hace que ofrezcan numerosas ventajas y que este tipo de tecnologa se est aplicando en mltiples reas. Entre las ventajas se incluyen: Aprendizaje Adaptativo. Capacidad de aprender a realizar tareas basadas en un entrenamiento o en una experiencia inicial. Auto-organizacin. Una red neuronal puede crear su propia organizacin o representacin de la informacin que recibe mediante una etapa de aprendizaje. Tolerancia a fallos. La destruccin parcial de una red conduce a una degradacin de su estructura; sin embargo, algunas capacidades de la red se pueden retener, incluso sufriendo un gran dao. Operacin en tiempo real. Los cmputos neuronales pueden ser realizados en paralelo; para esto se disean y fabrican mquinas con hardware especial para obtener esta capacidad. Fcil insercin dentro de la tecnologa existente. Se pueden obtener chips especializados para redes neuronales que mejoran su capacidad en ciertas tareas. Ello facilitar la integracin modular en los sistemas existentes. 3.2.1 Aprendizaje Adaptativo. La capacidad de aprendizaje adaptativo es una de las caractersticas ms atractivas de redes neuronales. Esto es, aprenden a llevar a cabo ciertas tareas mediante un entrenamiento con ejemplos ilustrativos. Como las redes neuronales pueden aprender a diferenciar patrones mediante ejemplos y entrenamientos, no es necesario elaborar modelos a priori ni necesidad de especificar funciones de distribucin de probabilidad. Las redes neuronales son sistemas dinmicos autoadaptativos. Son adaptables debido a la Trabajo de Investigacin 8
Redes Neuronales y Algoritmos de Primer Orden capacidad de autoajuste de los elementos procesales (neuronas) que componen el sistema. Son dinmicos, pues son capaces de estar constantemente cambiando para adaptarse a las nuevas condiciones. En el proceso de aprendizaje, los enlaces ponderados de las neuronas se ajustan de manera que se obtengan ciertos resultados especficos. Una red neuronal no necesita un algoritmo para resolver un problema, ya que ella puede generar su propia distribucin de pesos en los enlaces mediante el aprendizaje. Tambin existen redes que continan aprendiendo a lo largo de su vida, despus de completado su perodo de entrenamiento. La funcin del diseador es nicamente la obtencin de la arquitectura apropiada. No es problema del diseador el cmo la red aprender a discriminar. Sin embargo, s es necesario que desarrolle un buen algoritmo de aprendizaje que le proporcione a la red la capacidad de discriminar, mediante un entrenamiento con patrones. 3.2.2 Auto-organizacin. Las redes neuronales emplean su capacidad de aprendizaje adaptativo para autoorganizar la informacin que reciben durante el aprendizaje y/o la operacin. Mientras que el aprendizaje es la modificacin de cada elemento procesal, la autoorganizacin consiste en la modificacin de la red neuronal completa para llevar a cabo un objetivo especfico. Cuando las redes neuronales se usan para reconocer ciertas clases de patrones, ellas autoorganizan la informacin usada. Por ejemplo, la red llamada backpropagation, crear su propia representacin caracterstica, mediante la cual puede reconocer ciertos patrones. Esta autoorganizacin provoca la generalizacin: facultad de las redes neuronales de responder apropiadamente cuando se les presentan datos o situaciones a las que no haba sido expuesta anteriormente. El sistema puede generalizar la entrada para obtener una respuesta. Esta caracterstica es muy importante cuando se tiene que solucionar problemas en los cuales la informacin de entrada no es muy clara; adems permite que el sistema d una solucin, incluso cuando la informacin de entrada est especificada de forma incompleta.
3.2.3 Tolerancia a fallos. Las redes neuronales fueron los primeros mtodos computacionales con la capacidad inherente de tolerancia a fallos. Comparados con los sistemas computacionales tradicionales, los cuales pierden su funcionalidad cuando sufren un pequeo error de memoria, en las redes neuronales, si se produce un fallo en un nmero no muy grande de neuronas y aunque el comportamiento del sistema se ve influenciado, no sufre una cada repentina. Hay dos aspectos distintos respecto a la tolerancia a fallos: a) Las redes pueden aprender a reconocer patrones con ruido, distorsionados o incompletos. Esta es una tolerancia a fallos respecto a los datos. b) Las redes pueden seguir realizando su funcin (con cierta degradacin) aunque se destruya parte de la red. La razn por la que las redes neuronales son tolerantes a los fallos es que tienen su informacin distribuida en las conexiones entre neuronas, existiendo cierto grado de redundancia en este tipo de almacenamiento. La mayora de los ordenadores algortmicos y sistemas de recuperacin de datos almacenan cada pieza de informacin en un espacio nico, localizado y direccionable. En cambio, las redes neuronales almacenan informacin no localizada. Por lo tanto, la mayora de las interconexiones entre los nodos de la red tendrn sus valores en funcin de los estmulos recibidos, y se generar un patrn de salida que represente la informacin almacenada. 3.2.4 Operacin en tiempo real. Una de las mayores prioridades, casi en la totalidad de las reas de aplicacin, es la necesidad de realizar procesos con datos de forma muy rpida. Las redes neuronales se adaptan bien a esto debido a su implementacin paralela. Para que la mayora de las redes puedan operar en un entorno de tiempo real, la necesidad de cambio en los pesos de las conexiones o entrenamiento es mnimo.
10
3.2.5 Fcil insercin dentro de la tecnologa existente. Una red individual puede ser entrenada para desarrollar una nica y bien definida tarea (tareas complejas, que hagan mltiples selecciones de patrones, requerirn sistemas de redes interconectadas). Con las herramientas computacionales existentes (no del tipo PC), una red puede ser rpidamente entrenada, comprobada, verificada y trasladada a una implementacin hardware de bajo coste. Por lo tanto, no se presentan dificultades para la insercin de redes neuronales en aplicaciones especficas, por ejemplo de control, dentro de los sistemas existentes. De esta manera, las redes neuronales se pueden utilizar para mejorar sistemas en forma incremental y cada paso puede ser evaluado antes de acometer un desarrollo ms amplio. 3.3 Redes neuronales y computadoras digitales. Para entender el potencial de la computacin neuronal, sera necesario hacer una breve distincin entre sistemas de computacin neuronal y digital: los sistemas neurolgicos no aplican principios de circuitos lgicos o digitales. Un sistema de computacin digital debe ser sncrono o asncrono. Si fuera asncrono, la duracin de los impulsos neuronales debera ser variable para mantener uno de los valores binarios por periodos de tiempo indefinido, lo cual no es el caso. Si el principio fuera sncrono, se necesitara un reloj global o maestro con el cual los pulsos estn sincronizados, este tampoco es el caso. Las neuronas no pueden ser circuitos de umbral lgico, porque hay miles de entradas variables en la mayora de las neuronas y el umbral es variable con el tiempo, siendo afectado por la estimulacin, atenuacin, etc. La precisin y estabilidad de tales circuitos no es suficiente para definir ninguna funcin Booleana. Los procesos colectivos que son importantes en computacin neuronal no pueden implementarse por computacin digital. Por todo ello, el cerebro debe ser un computador analgico. Ni las neuronas ni las sinapsis son elementos de memoria biestable. Todos los hechos fisiolgicos hablan a favor de las acciones de las neuronas como integradores analgicos, y la eficiencia de la sinapsis cambia de forma gradual, lo cual no es caracterstico de
11
Redes Neuronales y Algoritmos de Primer Orden sistemas biestables. Los circuitos del cerebro no implementan computacin recursiva y por lo tanto no son algortmicos. Debido a los problemas de estabilidad, los circuitos neuronales no son suficientemente estables para definiciones recursivas de funciones como en computacin digital. Un algoritmo, por definicin, define una funcin recursiva.
4. ELEMENTOS BASICOS 4.1 Elementos bsicos que componen una red neuronal. A continuacin se puede ver un esquema de una red neuronal:
La misma est constituida por neuronas interconectadas y arregladas en tres capas (esto ltimo puede variar). Los datos ingresan por medio de la capa de entrada, pasan a travs de la capa oculta y salen por la capa de salida. Cabe mencionar que la capa oculta puede estar constituida por varias capas. Antes de comenzar el estudio sobre las redes neuronales, se debe aprender algo sobre las neuronas y de cmo ellas son utilizadas por una red neuronal. En la siguiente figura se compara una neurona biolgica con una neurona artificial. En la misma se 12
Redes Neuronales y Algoritmos de Primer Orden pueden observar las similitudes entre ambas (tienen entradas, utilizan pesos y generan salidas).
Mientras una neurona es muy pequea en s misma, cuando se combinan cientos, miles o millones de ellas pueden resolver problemas muy complejos. Por ejemplo el cerebro humano se compone de billones de tales neuronas.
4.1.1 Funcin de entrada (input function).

La neurona trata a muchos valores de entrada como si fueran uno solo; esto recibe el nombre de entrada global. Por lo tanto, ahora nos enfrentamos al problema de cmo se pueden combinar estas simples entradas (in i1, ini2, ...) dentro de la entrada global, gini. Esto se logra a travs de la funcin de entrada, la cual se calcula a partir del vector entrada. La funcin de entrada puede describirse como sigue:
donde: * representa al operador apropiado (por ejemplo: mximo, sumatoria, productoria, etc.), n al nmero de entradas a la neurona N i y wi al peso. Los valores de entrada se multiplican por los pesos anteriormente ingresados a la neurona. Por consiguiente, los pesos que generalmente no estn restringidos cambian la medida de influencia que Trabajo de Investigacin 13
Redes Neuronales y Algoritmos de Primer Orden tienen los valores de entrada. Es decir, que permiten que un gran valor de entrada tenga solamente una pequea influencia, si estos son lo suficientemente pequeos.
La nomenclatura utilizada en la figura es la siguiente: ini1 = entrada nmero 1 a la neurona Ni; wi1 = peso correspondiente a ini1; ini2 = entrada nmero 2 a la neurona Ni; wi2 = peso correspondiente a ini2; y outi = salida de la neurona Ni. El conjunto de todas las n entradas ini = (ini1, ini2, ..., ini n) es comnmente llamado vector entrada. Una de las funciones de entrada ms comnmente utilizadas y conocidas es: Sumatoria de las entradas pesadas: Es la suma de todos los valores de entrada a la neurona, multiplicados por sus correspondientes pesos.
4.1.2 Funcin de activacin (activation function).
14
Redes Neuronales y Algoritmos de Primer Orden Una neurona biolgica puede estar activa (excitada) o inactiva (no Excitada); es decir, que tiene un estado de activacin. Las neuronas artificiales tambin tienen diferentes estados de activacin; algunas de ellas solamente dos, al igual que las biolgicas, pero otras pueden tomar cualquier valor dentro de un conjunto determinado. La funcin activacin calcula el estado de actividad de una neurona; transformando la entrada global (menos el umbral, _i) en un valor (estado) de activacin, cuyo rango normalmente va de (0 a 1) o de (1 a 1). Esto es as, porque una neurona puede estar totalmente inactiva (0 o 1) o activa (1). La funcin activacin, es una funcin de la entrada global (gin i) menos el umbral (_i). Las funciones de activacin ms comnmente utilizadas se detallan a continuacin: Funcin Lineal:
Los valores de salida obtenidos por medio de esta funcin de activacin sern: (gini - i), cuando el argumento de (gini - i) est comprendido dentro del rango (-1/a, 1/a). Por encima o por debajo de esta zona se fija la salida en 1 o 1, respectivamente. Cuando a = 1 (siendo que la misma afecta la pendiente de la grfica), la salida es igual a la entrada.
15
Funcin Sigmoidea:
Los valores de salida que proporciona esta funcin estn comprendidos dentro de un rango que va de 0 a 1. Al modificar el valor de g se ve afectada la pendiente de la funcin de activacin.
Funcin Tangente Hiperblica:
16
Redes Neuronales y Algoritmos de Primer Orden Los valores de salida de la funcin tangente hiperblica estn comprendidos dentro de un rango que va de -1 a 1. Al modificar el valor de g se ve afectada la pendiente de la funcin de activacin.
4.1.3 Funcin de salida (output function). El ltimo componente que una neurona necesita es la funcin de salida. El valor resultante de esta funcin es la salida de la neurona i (out i); por ende, la funcin de salida determina que valor se transfiere a las neuronas vinculadas. Si la funcin de activacin est por debajo de un umbral determinado, ninguna salida se pasa a la neurona subsiguiente. Normalmente, no cualquier valor es permitido como una entrada para una neurona, por lo tanto, los valores de salida estn comprendidos en el rango [0, 1] o [-1, 1]. Tambin pueden ser binarios {0, 1} o {-1, 1}. Dos de las funciones de salida ms comunes son: Ninguna: este es el tipo de funcin ms sencillo, tal que la salida es la misma que la entrada. Es tambin llamada funcin identidad. Binaria:
5 Aprendizaje de una Red Neuronal 5.1 Niveles o capas de una red neuronal.
17
Redes Neuronales y Algoritmos de Primer Orden La distribucin de neuronas dentro de la red se realiza formando niveles o capas, con un nmero determinado de dichas neuronas en cada una de ellas. A partir de su situacin dentro de la red, se pueden distinguir tres tipos de capas: Entrada: Es la capa que recibe directamente la informacin proveniente de las fuentes externas de la red. Ocultas: Son internas a la red y no tienen contacto directo con el entorno exterior. El nmero de niveles ocultos puede estar entre cero y un nmero elevado. Las neuronas de las capas ocultas pueden estar interconectadas de distintas maneras, lo que determina, junto con su nmero, las distintas topologas de redes neuronales. Salidas: Transfieren informacin de la red hacia el exterior.
5.2 Tipos de neuronas artificiales. Las neuronas artificiales se pueden clasificar de acuerdo a los valores que pueden tomar. Por ahora es suficiente distinguir entre dos tipos principales: Neuronas binarias. Neuronas reales. Las neuronas binarias solamente pueden tomar valores dentro del intervalo {0, 1} o {-1, 1}, mientras que las neuronas reales pueden hacerlo dentro del rango [0, 1] o [-1, 1]. Los pesos normalmente no estn restringidos a un cierto intervalo, aunque para aplicaciones especficas puede ser esto necesario.
18
5.3 Mecanismos de Aprendizaje. El aprendizaje es el proceso por el cual una red neuronal modifica sus pesos en respuesta a una informacin de entrada. Los cambios que se producen durante el mismo se reducen a la destruccin, modificacin y creacin de conexiones entre las neuronas . Una red neuronal debe aprender a calcular la salida correcta para cada constelacin (arreglo o vector) de entrada en el conjunto de ejemplos. Este proceso de aprendizaje se denomina: Proceso de Entrenamiento o Acondicionamiento . El conjunto de datos (o conjunto de ejemplos) sobre el cual este proceso se basa es, por ende, llamado: Conjunto de datos de Entrenamiento. Durante el proceso de aprendizaje, los pesos de las conexiones de la red sufren modificaciones, por lo tanto, se puede afirmar que este proceso ha terminado (la red ha aprendido) cuando los valores de los pesos permanecen estables (dw ij/dt = 0, lo cual es la primera derivada o primer orden), si los pesos cambian y sus valores son iguales a 0, se dice que la conexin de la red se ha destruido. De esta manera, se dice que los pesos se han adaptado, ya que sus valores son distintos de 0 y su derivada es igual a 0. En otras palabras el aprendizaje es el proceso por el cual una red neuronal modifica sus pesos en respuesta a una informacin de entrada. Los cambios que se producen durante el mismo se reducen a la destruccin, modificacin y creacin de conexiones entre las neuronas. Un aspecto importante respecto al aprendizaje de las redes neuronales es el conocer cmo se modifican los valores de los pesos, es decir, cules son los criterios que se siguen para cambiar el valor asignado a las conexiones cuando se pretende que la red aprenda una nueva informacin. Hay dos mtodos de aprendizaje importantes que pueden distinguirse:
19
Aprendizaje supervisado. Aprendizaje no supervisado.
5.4 Aprendizaje supervisado. El aprendizaje supervisado se caracteriza porque el proceso de aprendizaje se realiza mediante un entrenamiento controlado por un agente externo (supervisor, maestro) que determina la respuesta que debera generar la red a partir de una entrada determinada. El supervisor controla la salida de la red y en caso de que sta no coincida con la deseada, se proceder a modificar los pesos de las conexiones, con el fin de conseguir que la salida obtenida se aproxime a la deseada. En este tipo de aprendizaje se suelen considerar, a su vez, tres formas de llevarlo a cabo, que dan lugar a los siguientes aprendizajes supervisados: Aprendizaje por correccin de error. Aprendizaje por refuerzo. Aprendizaje estocstico.
5.4.1 Aprendizaje por correccin de error. Consiste en ajustar los pesos de las conexiones de la red en funcin de la diferencia entre los valores deseados y los obtenidos a la salida de la red, es decir, en funcin del error cometido en la salida. Un ejemplo de este tipo de algoritmos lo constituye la regla de aprendizaje del Perceptron, utilizada en el entrenamiento de la red del mismo nombre que desarroll Rosenblatt en 1958 .Esta es una regla muy simple, para cada neurona en la capa de salida se le calcula la desviacin a la salida objetivo como el error.
20
Redes Neuronales y Algoritmos de Primer Orden El cual luego se utiliza para cambiar los pesos sobre la conexin de la neurona precedente. El cambio de los pesos por medio de la regla de aprendizaje del Perceptron se realiza segn la siguiente regla:
donde: aqi es la salida deseada/objetivo de la neurona de salida N i, desviacin objetivo de la neurona N i y el aprendizaje.
= (aqi outi) la
La salida de la neurona Nj (outj) se utiliza, porque este valor influye en la entrada global y, por ende, en la activacin y luego en la salida de la neurona N i. Esto es semejante a un efecto en cadena.
Otro algoritmo muy conocido y que pertenece a esta clasificacin es la regla de aprendizaje Delta o regla del mnimo error cuadrado (LMS Error: Least Mean Squared Error), que tambin utiliza la desviacin a la salida objetivo, pero toma en consideracin a todas las neuronas predecesoras que tiene la neurona de salida. Esto permite cuantificar el error global cometido en cualquier momento durante el proceso de entrenamiento de la red, lo cual es importante, ya que cuanto ms informacin se tenga sobre el error cometido, ms rpido se puede aprender. Luego el error calculado () es igualmente repartido entre las conexiones de las neuronas predecesoras. Por ltimo se debe mencionar la regla de aprendizaje de propagacin hacia atrs o de backpropagation, tambin conocido como regla LMS multicapa, la cual es una generalizacin de la regla de aprendizaje Delta. Esta es la primera regla de aprendizaje que permiti realizar cambios sobre los pesos en las conexiones de la capa oculta.
21
Redes Neuronales y Algoritmos de Primer Orden 5.4.2 Aprendizaje por refuerzo. Se trata de un aprendizaje supervisado, ms lento que el anterior, que se basa en la idea de no disponer de un ejemplo completo del comportamiento deseado, es decir, de no indicar durante el entrenamiento exactamente la salida que se desea que proporcione la red ante una determinada entrada. En el aprendizaje por refuerzo la funcin del supervisor se reduce a indicar mediante una seal de refuerzo si la salida obtenida en la red se ajusta a la deseada (xito = +1 o fracaso = -1), y en funcin de ello se ajustan los pesos basndose en un mecanismo de probabilidades. Se podra decir que en este tipo de aprendizaje la funcin del supervisor se asemeja ms a la de un crtico (que opina sobre la respuesta de la red) que a la de un maestro (que indica a la red la respuesta concreta que debe generar), como ocurra en el caso de supervisin por correccin del error. 5.4.3 Aprendizaje estocstico. Consiste bsicamente en realizar cambios aleatorios en los valores de los pesos de las conexiones de la red y evaluar su efecto a partir del objetivo deseado y de distribuciones de probabilidad. En pocas palabras el aprendizaje consistira en realizar un cambio aleatorio de los valores de los pesos y determinar la energa de la red (habitualmente la funcin energa es una funcin de Liapunov). Si la energa es menor despus del cambio, es decir, si el comportamiento de la red se acerca al deseado, se acepta el cambio; si, por el contrario, la energa no es menor, se aceptara el cambio en funcin de una determinada y preestablecida distribucin de probabilidades.
5.5 Aprendizaje no Supervisado.
22
Redes Neuronales y Algoritmos de Primer Orden Las redes con aprendizaje no supervisado (tambin conocido como
autosupervisado) no requieren influencia externa para ajustar los pesos de las conexiones entre sus neuronas. La red no recibe ninguna informacin por parte del entorno que le indique si la salida generada en respuesta a una determinada entrada es o no correcta. Estas redes deben encontrar las caractersticas, regularidades, correlaciones o categoras que se puedan establecer entre los datos que se presenten en su entrada. Existen varias posibilidades en cuanto a la interpretacin de la salida de estas redes, que dependen de su estructura y del algoritmo de aprendizaje empleado. En cuanto a los algoritmos de aprendizaje no supervisado, en general se suelen considerar dos tipos, que dan lugar a los siguientes aprendizajes: Aprendizaje hebbiano. Aprendizaje competitivo y comparativo.
5.5.1 Aprendizaje Hebbiano. Esta regla de aprendizaje es la base de muchas otras, la cual pretende medir la familiaridad o extraer caractersticas de los datos de entrada. El fundamento es una suposicin bastante simple: si dos neuronas Ni y Nj toman el mismo estado simultneamente (ambas activas o ambas inactivas), el peso de la conexin entre ambas se incrementa. Las entradas y salidas permitidas a la neurona son: {-1, 1} o {0, 1} (neuronas binarias). Esto puede explicarse porque la regla de aprendizaje de Hebb se origin a partir de la neurona biolgica clsica, que solamente puede tener dos estados: activa o inactiva. 5.5.2 Aprendizaje competitivo y comparativo.
23
Redes Neuronales y Algoritmos de Primer Orden Se orienta a la clusterizacin o clasificacin de los datos de entrada. Como caracterstica principal del aprendizaje competitivo se puede decir que, si un patrn nuevo se determina que pertenece a una clase reconocida previamente, entonces la inclusin de este nuevo patrn a esta clase matizar la representacin de la misma. Si el patrn de entrada se determin que no pertenece a ninguna de las clases reconocidas anteriormente, entonces la estructura y los pesos de la red neuronal sern ajustados para reconocer la nueva clase.
5.6 Eleccin del conjunto inicial de pesos. Antes de comenzar el proceso de entrenamiento se debe determinar un estado inicial, lo que significa: escoger un conjunto inicial de pesos para las diversas conexiones entre las neuronas de la red neuronal. Generalmente un intervalo del tipo [- n, n], donde n es un nmero natural positivo. Cabe mencionar que durante el transcurso del entrenamiento los pesos no se encuentran restringidos a dicho intervalo. 5.7 Detencin del proceso de aprendizaje. Para determinar cundo se detendr el proceso de aprendizaje, es necesario establecer una condicin de detencin. Normalmente el entrenamiento se detiene cuando para cada uno de los ejemplos dados, el error observado est por debajo de un determinado rango. Otra condicin de detencin del aprendizaje puede ser cuando un cierto nmero de ciclos y/o pasos de entrenamiento hayan sido completamente corridos.
24
Redes Neuronales y Algoritmos de Primer Orden Luego de alcanzarse la condicin de detencin, los pesos no se volvern a cambiar. Entonces podemos decir que la transformacin de los datos de entrada a los de salida est resuelta. Esto se puede interpretar como una funcin f oculta en el conjunto de la red neuronal. Esta funcin es exactamente la instruccin de cmo la salida ser calculada a partir de una constelacin (vector) de entrada. El orden en que los ejemplos de entrenamiento se presentan a la red neuronal es otro tema importante; en la mayora de los casos es beneficioso realizarlo en forma aleatoria. 5.8 Codificacin de los datos de entrada. Si se observa nuevamente el ejemplo del problema: puntaje para un crdito (apartado 5.4), se ve que no hay ningn valor numrico en la base de datos. Por lo tanto la pregunta es cmo puede entonces una red neuronal calcular una salida? La respuesta es sencilla; los datos tienen que ser codificados, o sea, deben hallarse valores apropiados para representar las caractersticas simblicas (alto, bajo, adecuado, etc.). Se distinguen dos tipo de variables a ser codificadas: Variables o atributos numricos (frecuentemente llamadas continuas).
Variables o atributos simblicos (frecuentemente llamados discretos). Un atributo numrico es aquel que puede tomar cualquier valor dentro de un
cierto intervalo [a, b]; donde a puede ser -(menos infinito) y b, (infinito). Ahora si los pesos son dados por un cierto nmero de trminos, semejantes a: alto o bajo; entonces el atributo se denomina simblico. 5.8.1 Codificacin de los atributos numricos.
25
Los datos son codificados dentro de un intervalo, [0.0 + buffer de baja, 1.0 buffer de alta], por medio de una funcin lineal. Los buffer (amortiguadores) son necesarios, especialmente cuando se trabaja con series de tiempo, porque a menudo puede observarse que una variable numrica cae por debajo del valor mnimo presenciado hasta el momento, o por encima del mximo.
Por ejemplo, para esta figura se debe encontrar la ecuacin que describa la funcin de transformacin; a la cual llamaremos t y se escribe como sigue: t: datos originales (x) datos codificados (xnuevos); t(x) = xnuevos = a * x + b; donde: a = pendiente y, b = ordenada al origen. De esta manera, para el ejemplo de la figura se tiene que a = 0.9-0.1 31-19 De forma genrica: Trabajo de Investigacin 26 y b = 0.1 a * 19.
a = mx. en el intervalo de codificacin min. En el intervalo de codificacin mx. de los datos originales min. de los datos originales b = (min. de los datos codificados) a* (mn. de los datos originales)
5.8.2 Codificacin de los atributos simblicos. Cada atributo simblico que se codifica, se adjunta a una neurona en la capa de entrada. Si hay n valores simblicos, n neuronas sern necesarias, cada una de ellas con un conjunto de entradas permitido: {0, 1} (o {-1, 1}). Por este motivo, se utilizan neuronas binarias.
Observando la figura, la edad slo puede tomar un valor en el ejemplo dado. En consecuencia, si se tiene el valor de entrada viejo, solamente la neurona esttica para viejo recibe una entrada de 1 (en el ejemplo: N1), mientras que todas las dems tendrn una entrada igual a 0. Por supuesto, tambin es posible codificar atributos simblicos utilizando slo una neurona real (recordar que los valores permitidos para este tipo de neuronas estn comprendidos en el rango [0, 1] o [1, 1]).La mayor desventaja de una codificacin binaria es que puede conducir a una gran capa de entrada.
27
5.8.3 Resumen de los procedimientos de codificacin.
5.9 Validacin de la red neuronal. Despus del proceso de entrenamiento los pesos de las conexiones en la red neuronal quedan fijos. Como paso siguiente se debe comprobar si la red neuronal puede resolver nuevos problemas, del tipo general, para los que ha sido entrenada. Por lo tanto, con el propsito de validar la red neuronal se requiere de otro conjunto de datos, denominado conjunto de validacin o testeo. Cada ejemplo del conjunto de evaluacin contiene los valores de las variables de entrada, con su correspondiente solucin tomada; pero ahora esta solucin no se le es otorgada a la red neuronal. Luego se compara la solucin calculada para cada ejemplo de
28
Redes Neuronales y Algoritmos de Primer Orden validacin con la solucin conocida. Ahora el problema es que hay que decidir cuando la salida de la red neuronal ha de considerarse como correcta.
5.10 Cuestiones a resolver al trabajar con una red neuronal. Muchos problemas aparecen cuando se trabaja con redes neuronales.
Primeramente se debe analizar el dominio del problema y decidir a que clase pertenece. Luego debe decidirse si una red neuronal es adecuada para resolver dicho problema. Esto es lo que se llama: etapa preliminar. Concluida esta etapa, las siguientes preguntas han de responderse: a- Origen de los datos. _ Qu datos son de importancia para la situacin del problema definido? _ Qu variables son relevantes? _ De dnde pueden obtenerse los datos? b- Preparacin y codificacin de los datos. _ Cmo preparar y codificar los datos? c- Topologa de la red (dependiendo parcialmente del tem b-). _ Qu tipo de red debe escogerse? _ Cuntas capas ocultas y con cuntas neuronas son necesarias? _ Cuntas neuronas en la capa de salida (segn la codificacin escogida)? _ Qu tipos de neuronas deben escogerse? _ Qu regla de aprendizaje escoger?
29
Redes Neuronales y Algoritmos de Primer Orden d- Decisiones concernientes al proceso de aprendizaje. _ Cuntos ciclos de aprendizaje? _ Qu inicializacin para los pesos?
6 Principales Topologas 6.1 Topologa de las redes neuronales. La topologa o arquitectura de una red neuronal consiste en la organizacin y disposicin de las neuronas en la misma, formando capas o agrupaciones de neuronas ms o menos alejadas de la entrada y salida de dicha red. En este sentido, los parmetros fundamentales de la red son: el nmero de capas, el nmero de neuronas por capa, el grado de conectividad y el tipo de conexiones entre neuronas. 6.2 Redes Monocapa. Se establecen conexiones entre las neuronas que pertenecen a la nica capa que constituye la red. Las redes monocapas se utilizan generalmente en tareas relacionadas con lo que se conoce como autoasociacin (regenerar informacin de entrada que se presenta a la red de forma incompleta o distorsionada). 6.3 Redes multicapa. Son aquellas que disponen de un conjunto de neuronas agrupadas en varios niveles o capas. En estos casos, una forma para distinguir la capa a la que pertenece una neurona, consistira en fijarse en el origen de las seales que recibe a la entrada y el destino de la seal de salida. Normalmente, todas las neuronas de una capa reciben
30
Redes Neuronales y Algoritmos de Primer Orden seales de entrada desde otra capa anterior (la cual est ms cerca a la entrada de la red), y envan seales de salida a una capa posterior (que est ms cerca a la salida de la red). A estas conexiones se las denomina conexiones hacia adelante o feedforward. Sin embargo, en un gran nmero de estas redes tambin existe la posibilidad de conectar la salida de las neuronas de capas posteriores a la entrada de capas anteriores; a estas conexiones se las denomina conexiones hacia atrs o feedback.
6.4 Conexin entre neuronas. La conectividad entre los nodos de una red neuronal est relacionada con la forma en que las salidas de las neuronas estn canalizadas para convertirse en entradas de otras neuronas. La seal de salida de un nodo puede ser una entrada de otro elemento de proceso, o incluso ser una entrada de s mismo ( conexin autorrecurrente). Cuando ninguna salida de las neuronas es entrada de neuronas del mismo nivel o de niveles precedentes, la red se describe como de conexin hacia delante. Cuando las salidas pueden ser conectadas como entradas de neuronas de niveles previos o del mismo nivel, incluyndose ellas mismas, la red es de conexin hacia atrs. Las redes de propagacin hacia atrs que tienen lazos cerrados son llamadas: sistemas recurrentes. 6.5 Redes de propagacin hacia atrs (backpropagation). El nombre de backpropagation resulta de la forma en que el error es propagado hacia atrs a travs de la red neuronal, en otras palabras el error se propaga hacia atrs desde la capa de salida. Esto permite que los pesos sobre las conexiones de las neuronas ubicadas en las capas ocultas cambien durante el entrenamiento.
31
Redes Neuronales y Algoritmos de Primer Orden 6.5.1 Ejemplo. Una temperatura de 20C provoca que el tiempo de operacin de una mquina sea de 90 segundos y un incremento de dicha temperatura hasta los 30C causa un tiempo de operacin de 100 segundos. Cmo influy el incremento de la temperatura en el tiempo de trabajo de la mquina? Por supuesto, hizo ms lenta la operacin. Pero, por cunto?
Esto significa que se produce un incremento de tiempo de aproximadamente 1 segundo, cuando la temperatura se eleva 1C. Al mirar la figura la misma muestra una constelacin donde la salida real para una neurona es 0.95 y la deseada es de 1.0
Dado que la derivada de la funcin activacin es relativamente baja en esta regin (cuando la funcin activacin est prxima a 1), el producto derivada por desviacin Trabajo de Investigacin 32
Redes Neuronales y Algoritmos de Primer Orden objetivo, igual al error, no se torna muy grande. Esto es lo que se llama sintona fina de los pesos. De esta manera, la diferencia en el cmputo del error para las neuronas de salida al utilizar el algoritmo de backpropagation, en lugar de las reglas simples de aprendizaje del Perceptron, es justamente el factor derivada de la funcin activacin.
6.6 Estructura de la Red Hopfield. La Red Hopfield es recurrente y completamente interconectada. Funciona como una memoria asociativa no lineal, que puede almacenar internamente patrones presentados de forma incompleta o con ruido. De esta forma puede ser usada como una herramienta de optimizacin; tambin se han utilizado en aplicaciones de segmentacin y restauracin de imgenes y optimizacin combinatoria. Esto significa que si existe una conexin desde la neurona Ni a la neurona Nj, tambin existe la conexin desde Nj a Ni ambas exhibendo el mismo peso ( wij = wji). Vale aclarar que la conexin de una neurona con s misma no est permitida. El conjunto permitido de valores de entrada y salida es {0, 1} (o en alguna oportunidad {-1, 1}); o sea, es un conjunto binario. De esta manera todas las neuronas en una Red Hopfield son binarias, tomando solamente uno de los dos estados posibles: activo (1) o inactivo (-1 o 0). La clave del aprendizaje Hopfield es que si un patrn que tiene que ser aprendido se conoce, los pesos sobre cada conexin de la red neuronal pueden ser calculados. En esta circunstancia, solamente el estado de las neuronas cambia durante el proceso de aprendizaje. Este clculo garantiza que cada patrn aprendido corresponda a un mnimo de la funcin energa.
33
Redes Neuronales y Algoritmos de Primer Orden Es importante entender que para este tipo de redes la definicin de aprendizaje es diferente al dado anteriormente, donde aprendizaje significaba simplemente la adaptacin de los pesos. En una Red Hopfield los pesos se pueden calcular y se mantienen fijos durante el aprendizaje de los patrones. Solamente cambia el estado de las neuronas. Para calcular el peso de una conexin cualquiera, wij (y por simetra para la conexin wji), en una Red Hopfield se utiliza la siguiente ecuacin:
siendo Q el nmero de patrones y eqi la entrada a la neurona Ni. Generalmente es aconsejable trabajar con esta ecuacin cuando los patrones que se han de aprender no son muy semejantes unos a otros, y si el nmero de ceros y unos son similares para todos los patrones. Con respecto al nmero de ceros y unos, el umbral de cada neurona puede utilizarse para regular esto, distinguindose as dos casos posibles: Si hay ms 0s que 1s el umbral tiene que disminuirse, porque que las neuronas tienen una probabilidad ms alta para hacerse inactivas que para hacerse activas. Si hay mas 1s que 0s el umbral tiene que incrementarse, porque las neuronas tienen una probabilidad ms alta para hacerse activas que para hacerse inactivas.
6.7 Simulated Annealing aplicada a una Red Hopfield. En muchos problemas, la tarea no es justamente encontrar cualquier mnimo local, sino la de encontrar el ptimo global. Lo que significa que para una entrada determinada se debe encontrar una salida que resulte en un mnimo de la funcin energa. Utilizando
34
Redes Neuronales y Algoritmos de Primer Orden una Red Hopfield, se encuentra que un mnimo yace cerca del vector de entrada dado, porque la energa decrece paso a paso. El cual puede ser un mnimo local. A grandes rasgos se describe que una Simulated Annealing trabaja de esta manera:
El algoritmo se detiene cuando se alcanza algn criterio de detencin; por ejemplo si la temperatura llega a su lmite inferior o si el nmero de ciclos alcanza su lmite superior. La premisa fundamental de este mtodo es que el problema de optimizacin puede formularse como una funcin energtica. Por lo tanto hallar el ptimo global implica encontrar el mnimo de dicha funcin energtica. La misma tiene un aspecto genrico de esta forma:
Se han logrado exitosas aplicaciones de Simulated Annealing, principalmente concernientes a los problemas de optimizacin combinatoria, semejantes al problema del
35
Redes Neuronales y Algoritmos de Primer Orden viajante. El cual no puede resolverse fcilmente por mtodos estadsticos o analticos. Por ejemplo, imagine que un viajante tiene que visitar 19 ciudades. Qu ruta suministra el camino ms corto entre todas las ciudades, o sea, en qu orden debern visitarse todas las ciudades? Por ltimo una diferenciacin muy importante es que en una Simulated Annealing la energa puede disminuir en un paso y crecer en el otro, pero en una Red Hopfield la energa solamente puede disminuir paso a paso.
36
6.8 Asociaciones entre la informacin de entrada y salida Ya se sabe que las redes neuronales son sistemas que almacenan cierta informacin aprendida. Esta informacin se registra de forma distribuida en los pesos asociados a las conexiones entre neuronas. Por tanto, puede imaginarse una red como cierto tipo de memoria que almacena datos de forma estable, datos que se grabarn en dicha memoria como consecuencia del aprendizaje de la red y que podrn ser ledos a la salida como respuesta a cierta informacin de entrada, comportndose entonces la red como lo que habitualmente se conoce por memoria asociativa: cuando se aplica un estmulo (dato de entrada) la red responde con una salida asociada a dicha informacin de entrada.
37
Redes Neuronales y Algoritmos de Primer Orden Existen dos formas primarias de realizar esta asociacin entre entradas/salidas que se corresponden con la naturaleza de la informacin almacenada en la red: Una primera sera la denominada heteroasociacin, que se refiere al caso en el que la red aprende parejas de datos [( A1,B1), (A2, B2),... (AN,BN)], de tal forma que cuando se presente cierta informacin de entrada Ai, deber responder generando la correspondiente salida asociada Bi. La segunda se conoce como autoasociacin, donde la red aprende ciertas informaciones A1, A2, ..., AN; de tal forma que cuando se le presenta una informacin de entrada realizar una autocorrelacin, respondiendo con uno de los datos almacenados, el ms parecido al de entrada. Estos dos mecanismos de asociacin dan lugar a dos tipos de redes neuronales: las redes heteroasociativas y las autoasociativas. Una red heteroasociativa podra considerarse como aquella que computa cierta funcin, que en la mayora de los casos no podra expresarse analticamente, entre un conjunto de entradas y un conjunto de salidas, correspondiendo a cada posible entrada una determinada salida. Por otra parte, una red autoasociativa es una red cuya principal misin es reconstruir una determinada informacin de entrada que se presente incompleta o distorsionada (le asocia el dato almacenado ms parecido). En realidad estos dos tipos de modelos de redes no son diferentes en principio, porque una red heteroasociativa puede siempre ser reducida a una asociativa mediante la concatenacin de una informacin de entrada y su salida (respuesta) asociada, para obtener la informacin de entrada de la red autoasociativa equivalente. Tambin puede conseguirse que una red autoasociativa se comporte como heteroasociativa, simplemente presentando, como entrada parcial de la autoasociativa, la informacin de entrada para la
38
Redes Neuronales y Algoritmos de Primer Orden heteroasociativa y haciendo que la red complete la informacin para producir lo que sera la salida de la red heteroasociativa equivalente. 6.8.1 Redes heteroasociativas Las redes heteroasociativas, al asociar informaciones de entrada con diferentes informaciones de salida, precisan al menos de dos capas, una para captar y retener la informacin de entrada y otra para mantener la salida con la informacin asociada. Si esto no fuese as, se perdera la informacin inicial al obtenerse el dato asociado {3}, lo cual no debe ocurrir, ya que en el proceso de obtencin de la salida se puede necesitar acceder varias veces a esta informacin que, por tanto, deber permanecer en la capa de entrada. En cuanto a su conectividad, pueden ser del tipo con conexin hacia adelante ( o feedforward) o con conexin hacia atrs ( feddforward/feedback), o bien con conexiones laterales.
6.8.2 Redes autoasociativas Una red autoasociativa asocia una informacin de entrada con el ejemplar ms parecido de los almacenados conocidos por la red. Estos tipos de redes pueden implementarse con una sola capa de neuronas. Esta capa comenzar reteniendo la informacin inicial a la entrada, y terminar representando la informacin autoasociada. Si se quiere mantener la informacin de entrada y salida, se deberan aadir capas adicionales, sin embargo, la funcionalidad de la red puede conseguirse en una sola capa. En cuanto a su conectividad, existen de conexiones laterales y, en algunos casos, conexiones autorrecurrentes.
39
Redes Neuronales y Algoritmos de Primer Orden 7. Aplicaciones 7.1 Aplicaciones de las Redes Neuronales Las redes neuronales pueden utilizarse en un gran nmero y variedad de aplicaciones, tanto comerciales como militares. Hay muchos tipos diferentes de redes neuronales; cada uno de los cuales tiene una aplicacin particular ms apropiada. Algunas aplicaciones comerciales son: Biologa: Aprender ms acerca del cerebro y otros sistemas. Obtencin de modelos de la retina. Empresa: Evaluacin de probabilidad de formaciones geolgicas y petrolferas. Identificacin de candidatos para posiciones especficas. Explotacin de bases de datos. Optimizacin de plazas y horarios en lneas de vuelo. Reconocimiento de caracteres escritos. Modelado de sistemas para automatizacin y control. Medio ambiente: Analizar tendencias y patrones. Previsin del tiempo. Finanzas: Previsin de la evolucin de los precios. Valoracin del riesgo de los crditos. Identificacin de falsificaciones. Interpretacin de firmas. Manufacturacin: Trabajo de Investigacin 40
Redes Neuronales y Algoritmos de Primer Orden Robots automatizados y sistemas de control (visin artificial y censores de presin, temperatura, gas, etc.). Control de produccin en lneas de procesos. Inspeccin de la calidad. Medicina: Analizadores del habla para ayudar en la audicin de sordos profundos. Diagnstico y tratamiento a partir de sntomas y/o de datos analticos(electrocardiograma, encefalogramas, anlisis sanguneo..). Monitorizacin en cirugas. Prediccin de reacciones adversas en los medicamentos. Entendimiento de la causa de los ataques cardacos. Militares: Clasificacin de las seales de radar. Creacin de armas inteligentes. Optimizacin del uso de recursos escasos. Reconocimiento y seguimiento en el tiro al blanco. Desde el punto de vista de los casos de aplicacin, la ventaja de las redes neuronales reside en el procesado paralelo, adaptativo y no lineal. El dominio de aplicacin de las redes neuronales tambin se lo puede clasificar de la siguiente forma: asociacin y clasificacin, regeneracin de patrones, regresin y generalizacin, y optimizacin. 7.1.1 Asociacin y clasificacin
41
Redes Neuronales y Algoritmos de Primer Orden En esta aplicacin, los patrones de entrada estticos o seales temporales deben ser clasificados o reconocidos. Idealmente, un clasificador debera ser entrenado para que cuando se le presente una versin distorsionada ligeramente del patrn, pueda ser reconocida correctamente sin problemas. De la misma forma, la red debera presentar cierta inmunidad contra el ruido, esto es, debera ser capaz de recuperar una seal "limpia" de ambientes o canales ruidosos. Esto es fundamental en las aplicaciones hologrficas, asociativas o regenerativas. Asociacin: de especial inters son las dos clases de asociacin: autoasociacin y heteroasociacin. El problema de la autoasociacin es recuperar un patrn enteramente, dada una informacin parcial del patrn deseado. La heteroasociacin es recuperar un conjunto de patrones B, dado un patrn de ese conjunto. Normalmente, la autocorrelacin del conjunto de patrones almacenado determina los pesos en las redes autoasociativas. Por otro lado, la correlacin cruzada de muchas parejas de patrones se usa para determinar los pesos de la red de heteroasociacin. Clasificacin no Supervisada: para esta aplicacin, los pesos sinpticos de la red son entrenados por la regla de aprendizaje no supervisado, esto es, la red adapta los pesos y verifica el resultado basndose nicamente en los patrones de entrada. Clasificacin Supervisada: esta clasificacin adopta algunas formas del criterio de interpolacin o aproximacin. En muchas aplicaciones de clasificacin, por ejemplo, reconocimiento de voz, los datos de entrenamiento consisten de pares de patrones de entrada y salida. Este tipo de redes son apropiadas para las aplicaciones que tienen una gran cantidad de clases con lmites de separacin complejos. 7.1.2 Regeneracin de patrones
42
Redes Neuronales y Algoritmos de Primer Orden En muchos problemas de clasificacin, una cuestin a solucionar es la recuperacin de informacin, esto es, recuperar el patrn original dada solamente una informacin parcial. Hay dos clases de problemas: temporales y estticos. El uso apropiado de la informacin contextual es la llave para tener xito en el reconocimiento. 7.1.3 Regeneracin y generalizacin El objetivo de la generalizacin es dar una respuesta correcta a la salida para un estmulo de entrada que no ha sido entrenado con anterioridad. El sistema debe inducir la caracterstica saliente del estmulo a la entrada y detectar la regularidad. Tal habilidad para el descubrimiento de esa regularidad es crtica en muchas aplicaciones. Esto hace que el sistema funcione eficazmente en todo el espacio, incluso cuando ha sido entrenado por un conjunto limitado de ejemplos. 7.1.4 Optimizacin Las Redes Neuronales son herramientas interesantes para la optimizacin de aplicaciones, que normalmente implican la bsqueda del mnimo absoluto de una funcin de energa. Para algunas aplicaciones, la funcin de energa es fcilmente deducible; pero en otras, sin embargo, se obtiene de ciertos criterios de coste y limitaciones especiales. 7.2 Casos concretos de aplicacin A continuacin se detallan los siguientes casos concretos de aplicacin de redes neuronales: Planificacin del staff de empleados. Planificacin de la demanda de materiales. Puntuacin para la solicitud de un crdito.
43
Redes Neuronales y Algoritmos de Primer Orden 7.2.1 Planificacin del staff (cuerpo) de empleados Hoy ms que nunca, las empresas estn sujetas a la presin de los elevados costos. Esto puede verse en diferentes sectores corporativos, tales como la planificacin del staff de empleados. Desde el punto de vista de las empresas, un empleado que falla al ejecutar la mayor parte de las tareas asignadas, evidencia una baja productividad. Por el otro lado, esta situacin es frustrante para el empleado. Ambos efectos causan costos, los cuales podran evitarse realizando antes una prueba de aptitud. En este proyecto de investigacin se examin hasta donde la prediccin de aptitudes puede llevarse a cabo por una red neuronal, cuya topologa suministre una tarea satisfactoria y as lograr una prediccin ms exitosa. Base de datos y codificacin: La base de datos inicial contena informacin resultante de una investigacin que realizaron por medio de un cuestionario. Las respuestas obtenidas a travs del mismo las utilizaron para acumular informacin acerca de las cualidades especficas y habilidades tcnicas de cada individuo del personal indagado. Para cada pregunta, les fue posible categorizar la respuesta en un intervalo que va de 1 a 5; constituyendo as la entrada que presentaron a la red neuronal. Al entrevistado, posteriormente, lo examinaron en el orden de obtener una cifra representativa de sus aptitudes. De esta manera el conjunto de datos de entrenamiento qued formado de la siguiente forma: Respuesta obtenidas a travs del cuestionario = datos de entrada Cifra representativa de la aptitud de la persona encuestada = salida deseada El primer problema que se les present fue cmo codificar los datos obtenidos, decidiendo transformarlos dentro del intervalo [0.1, 1.0].
44
Redes Neuronales y Algoritmos de Primer Orden Cmo codificar la salida objetivo fue la prxima pregunta que consideraron? Normalmente la compaa slo quiere conocer si una persona ejecutar bien o mal a tarea determinada, o si su desempeo ser muy bueno, bueno, promedio, malo o muy malo. Consecuentemente, (a) asignaron la salida dada dentro de varias clases y ( b) transformaron las cifras representativas dentro del intervalo [0, 1], utilizando en parte una funcin lineal. Algoritmo de aprendizaje: Ensayaron diferentes algoritmos de aprendizaje, de los cuales dos fueron escogidos como los ms apropiados: Propagacin Rpida (Quickpropagation) y Propagacin Elstica (Resilient Propagation) . Quickpropagation: es una modificacin del algoritmo estndar de
backpropagation. A diferencia de ste, la adaptacin de los pesos no es solamente influenciada por la sensibilidad actual, sino tambin por la inclusin del error previo calculado. Resilient Propagation: es otra modificacin del algoritmo estndar de backpropagation. En oposicin a ste, la adaptacin de los pesos es influenciada por el signo de la sensibilidad actual y antecesora, y no por su cantidad. Topologa de la red: Evaluaron diferentes topologas de redes. La pregunta fue: ( a) cuntas capas ocultas son necesarias?, (b) cuntas neuronas en cada una de ellas? La primera prueba que hicieron mostr que para este propsito la red deba contener 2 capas ocultas, con la primera formada por tantas neuronas como la capa de entrada y la segunda por un nmero menor que la primera (exactamente la mitad como mucho). Resultados obtenidos a partir de los ensayos:
45
Redes Neuronales y Algoritmos de Primer Orden El primer resultado que consiguieron al intentar predecir la cifra representativa correcta fue relativamente mala. Asumieron que esto fue causado por el hecho de que el nmero de neuronas de entrada en proporcin al nmero de ejemplos dados en el conjunto de datos de entrenamiento fue elevado. La pequea base de datos, conforme con la gran capa de entrada, fue suficiente para realizar una tosca prediccin, pero no para dar la correcta cifra representativa. Lo mencionado en el prrafo anterior hizo que enfocaran toda la atencin en reducir el nmero de neuronas de entradas en forma apropiada. Entonces, reduciendo el nmero de neuronas de entrada y formando nuevas redes, consiguieron un resultado bastante bueno para la prediccin de las clases y an para la prediccin de la cifra representativa correcta. En otra serie de test, examinaron los resultados que podran favorecer a un mejoramiento por agrupacin de las neuronas de entrada para las preguntas interdependientes. Cada grupo, que representaba una habilidad especial, fue conectado exactamente a una neurona en la primera capa oculta. La razn para esto fue que haciendo ciertas conexiones se reduce beneficiosamente el espacio de bsqueda, si y solo si, las conexiones representan la estructura correcta, pero puede reducir el espacio de bsqueda inapropiadamente por prohibicin de otras conexiones.
7.2.2 Planificacin de la demanda de materiales La tarea de planificar la demanda de materiales es justamente predecir en forma segura la necesidad de los mismos, o ms exactamente, de los factores de consumo. Esto involucra tener una correcta informacin de los volmenes aproximados de produccin, as como de los factores de tiempo. Principalmente para resolver esta tarea pueden distinguirse los siguientes procedimientos: Programacin orientada (program-oriented). Consumo orientado (consumption-oriented).
46
Redes Neuronales y Algoritmos de Primer Orden En el mtodo de programacin orientada, la prediccin de la cantidad demandada se basa sobre los resultados del planeamiento de produccin. Mientras que el mtodo de consumo orientado toma en cuenta el consumo observado en perodos anteriores y sobre la base de dicha informacin intenta predecir las futuras demandas. Base de datos y codificacin: En la Figura se muestran las series de tiempo que utilizaron para la planificacin de la demanda de materiales.
Cada serie de tiempo incluye datos desde 1992 a 1994 (semanalmente). Las series, pedido y stock, fueron codificados dentro del intervalo [0.0, 0.9], para lo cual utilizaron una funcin de transformacin lineal. Mientras que al consumo lo codificaron en dos pasos, porque esta serie de tiempo vara, en partes, de manera muy brusca. Para el primer paso emplearon la frmula:
47
Redes Neuronales y Algoritmos de Primer Orden Donde mx es el promedio de las series de tiempo y std(x) la desviacin estndar de las series de tiempo. Y para el segundo aplicaron una transformacin lineal a la nueva serie de tiempos. Topologa de la red: Sobre el ensayo de diferentes redes neuronales observaron que, sin importar la prediccin que se haga (mensualmente, semanalmente), ms de dos capas ocultas desfavoreca el Resultado obtenido. Primero experimentaron solamente con la serie de tiempo del consumo, y con una red neuronal constituida por nueve neuronas de entrada y una neurona ms para la estacin; empleando 80 patrones para el entrenamientos y 53 para la validacin. La exactitud que lograron luego de varias corridas de la red neuronal, empleando diferentes topologas, se muestran en la Siguiente Tabla (error permitido: 20%, ciclos de aprendizaje: Propagation). 10000, algoritmos de aprendizaje: Quickpropagation o Resilient
Como se puede observar, dando solo el consumo como una entrada no es suficiente para predecir la demanda. Luego, utilizaron todas las series de tiempo descriptas en la Figura Anterior como entradas a la red neuronal y adems, asignaron tres neuronas de entrada para cada serie de tiempo, lo que result en una capa de entrada de nueve neuronas; logrando para las diferentes topologas una exactitud como la que exhibe en la Siguiente Tabla:
48
Los resultados citados no parecen ser suficientemente buenos para la aplicacin de una red neuronal real en el campo del planeamiento de la demanda de materiales; no obstante, est claro que las tcnicas de las redes neuronales son prometedoras para la tarea. Actualmente se estn ensayando otros escenarios diferentes para mejorar las predicciones as obtenidas. 7.2.3 Puntuacin para la solicitud de un crdito La puntuacin para un crdito representa una tarea de gran riesgo para las instituciones crediticias. Estas instituciones tienen un fuerte inters en evitar tales situaciones, rechazando los candidatos que parecen ser un riesgo malo. Ya que un candidato rechazado, que de hecho era un buen riesgo crediticio, no impone costos reales; mientras que, un candidato que es incapaz de restituir el pago del crdito extendido puede causar prdidas sustanciales. Diferentes mtodos son aplicados en este campo. Muy a menudo la decisin tomada, aprobacin o rechazo, se basa sobre los siguientes factores: carcter, capacidad y capital; siendo esta solamente humana y naturalmente subjetiva. Otro mtodo es la utilizacin de un sistema de puntuacin numrico. El mismo utiliza rasgos comunes que resultan ser importantes para la evaluacin de los candidatos para un crdito. La importancia especfica de cada simple caracterstica est expresada por pesos. Cada candidato al crdito se pondera con una cierta cifra indicativa (suma integral de los rasgos) y si se sita por encima de un umbral determinado se considera como una persona digna de crdito. Debido a que ambos mtodos tienen aspectos negativos -subjetivamente por un lado y una simple dependencia lineal entre caracterstica por el otro, los esfuerzos apuntan a la aplicacin de tcnicas de inteligencia artificial, tales como Sistemas Expertos (XPS) y Redes Neuronales, en el campo de la puntuacin para la solicitud de un crdito.
49
Redes Neuronales y Algoritmos de Primer Orden Por lo tanto la tarea a ser consumada por medio de una red neuronal es tratar de predecir una correcta clasificacin de los clientes. Escenario de los datos: Para recaudar informacin acerca de candidatos aprobados y desaprobados recurrieron a diferentes instituciones crediticias, pero solamente unas pocas de ellas cooperaron. Puesto que la informacin de la que disponan era insuficiente, utilizaron un conjunto de datos pblicos, caracterizado como sigue en la Siguiente Tabla:
Tabla Escenario de Datos Codificacin:
Codificaron los atributos continuos simplemente por una transformacin lineal dentro del intervalo [0.1, 0.9], utilizando para esto solamente una neurona (real). Los atributos binarios tambin fueron codificados por medio de una neurona (binaria). Pensaron en la utilizacin de dos neuronas binarias, pero los ensayos no mostraron ninguna diferencia entre ambos tipos de codificacin. En consecuencia utilizaron solamente una neurona para los atributos binarios. A los atributos ordenados los trataron como sigue; ya que dependiendo de los diferentes valores que los mismos podan tomar, el nmero de neuronas utilizadas en la capa de entrada variaba. Codificaron cada posible valor en una neurona; por ejemplo si haba tres valores posibles, se necesitaba de tres neuronas. El procedimiento de codificacin fue como el mostrado en la Siguiente Tabla:
50
La capa de salida estaba formada por una simple neurona binaria que daba una clasificacin bueno/malo. Utilizando el procedimiento de codificacin de la Tabla Anterior, al menos 32 neuronas les fueron necesarias en la capa de entrada. Resultados: Para el entrenamiento y validacin, dividieron el conjunto de datos de la Tabla Escenario de Datos en dos subconjuntos. El nmero de ejemplos en cada subconjunto, se puede ver en la Siguiente Tabla, en donde intentaron mantener una distribucin similar de candidatos buenos y malos.
El mejor resultado que obtuvieron, es el presentado en la Siguiente Tabla (Standard Backpropagation, tasa de aprendizaje: 0.2):
Cuando emplearon dos capas ocultas el resultado no mejor, a pesar de tomar ms tiempo de CPU. Tambin modificaron el grado de aprendizaje, fijndolo en 0.5 y 0.7 e iniciando diferentes series de tiempo, pero los resultados tampoco mejoraron.
51
8.- SOFTWARE COMERCIALES 8.1.- Aplicaciones del NeurOn-Line: Los procesos industriales han instalado extensamente, durante el transcurso de los ltimos aos, bases de datos histricas en tiempo real con gran capacidad de almacenaje. Los especialistas en Tecnologas de Informacin, hacen referencia a la metodologa general para obtener informacin valiosa desde una gran base de datos como data mining (minera de datos). Una de tales metodologas son las Redes Neuronales (NNs). El artculo describe la aplicacin de un paquete de programas de NNs comercial a varios problemas de refineras y petroqumicas. Se muestra como el moderno software es capaz de manejar apropiadamente la seleccin de la estructura de la NNs y la apropiada metodologa de entrenamiento (es decir, minimizando la funcin objetivo adecuada, generalmente el problema del menor cuadrado). Se dan ejemplos sobre la utilizacin de NNs como analizadores virtuales, optimizadores y para la reduccin de modelos. Generalmente, las bases de datos estn disponibles en lnea por muchos aos e incluyen tambin los resultados de los anlisis rutinarios de laboratorio. En una refinera tpica, es normal recolectar miles de variables (tags), incluyendo variables de proceso y set-point, salidas de vlvula y modo (por ejemplo: automtico, manual, local, remoto,etc.) de los controladores. Estos historiadores en tiempo real estn produciendo bases de datos muy grandes donde, aunque no siempre fcil de encontrar, puede extraerse una muy rica informacin relacionada al proceso. Debido a tcnicas especiales de compresin, tales bases de datos tienen una tremenda capacidad de almacenamiento.
52
Redes Neuronales y Algoritmos de Primer Orden Las NNs, para explotar correctamente las vetas del material rico que se hallan en las grandes bases de datos, no necesita solamente ser alimentada con el dato apropiado de entrada y salida, sino tambin cumplimentar los siguientes 2 requisitos importantes: La NN debe tener una estructura capaz de representar adecuadamente el problema. La NN debe ser entrenada con un algoritmo robusto y confiable, apto para converger a una solucin aceptable. No sorprendentemente, muchos de los artculos disponibles en este campo no abundan en las aplicaciones industriales de las NNs, pero si sobre los detalles matemticos y caractersticas especiales de cada tipo de topologa de NN (esto es: tipo de red, funcin de transferencia, nmero de capas) y/o algoritmo de entrenamiento (esto es: tcnicas de minimizacin, temas de convergencia, detalles de programacin, etc.). Muchas veces puede gastarse mucho esfuerzo luchando con la mejor topologa de NN y perderse muchas horas de CPU intentando obtener un ajuste y convergencia razonable. No fue hasta hace poco que los paquetes comerciales fueron capaces de prestar atencin a los dos requisitos mencionados anteriormente. Este artculo presenta la experiencia recogida con la aplicacin de uno de tales paquetes comerciales: REDES NEURONALES: Descripcin de la terminologa usual y del software: Muy buenas descripciones tericas y prcticas de la tecnologa de las NNs pueden encontrarse en varias publicaciones, pero la coleccin de artculos editados por Leonides (1998) puede mencionarse como una buena fuente de informacin sobre la teora y prctica de las mismas. Esta seccin solamente pretende dar una breve
53
Redes Neuronales y Algoritmos de Primer Orden introduccin a las capacidades del software NeurOn-Line Studio. El NeurOn-Line Studio puede utilizarse off-line u on-line, siendo una herramienta para el anlisis de procesos. Tpicamente la fuente de datos es un historiador de datos u otro archivo de datos. El NeurOn-Line Studio provee una gua paso a paso a travs del proceso de preprocesamiento de datos, configuracin del modelo, entrenamiento, validacin y puesta en lnea. Para maximizar la productividad, muchas tcnicas de decisin, tales como seleccin de las entradas relevantes, tiempos de retraso y arquitectura de la red, estn automatizadas o convenientemente asistidas. Una vez que un modelo se ha construido, es posible utilizar el NeurOn-Line Studio para descubrir formas ms ventajosas para correr el proceso a travs de la simulacin y de la optimizacin. Sobre la base de una funcin objetivo, que expresa rentabilidad en trminos de variables de proceso predichas y medidas, el NeurOn-Line Studio aplica el modelo de red neuronal para determinar las condiciones de operacin ptima, dentro de las restricciones del caso. Aplicacin de Redes Neuronales a la industria de procesos : Como se ha mencionado, las Redes Neuronales permiten al ingeniero crear modelos para procesos utilizando datos histricos del mismo proceso. Los modelos pronostican cmo el proceso responder a los cambios de entradas y diferentes condiciones de trabajo. Las condiciones de operacin ptima, sujeta a restricciones, pueden tambin determinarse con las NNs correctamente formuladas. Los modelos identificados empleando NNs pueden utilizarse en estudios de proceso off-line o ser instalados on-line para suministrar una deteccin precoz de los problemas de proceso y determinar los set-point que continuamente optimicen el proceso para maximizar las ganancias. Las NNs traen a la vida los datos histricos, revelando los factores ms
54
Redes Neuronales y Algoritmos de Primer Orden importantes que afectan la calidad y el rendimiento de los productos. Este conocimiento puede a menudo detectar mejoras sin ninguna inversin de capital. Las reas generales de utilizacin potencial de las NNs son las siguientes: Control de Calidad, Sensores Inferenciales y Reduccin de Modelos. En la economa globalizada de hoy en da, el gerenciamiento de la calidad en tiempo real es una aplicacin de vital importancia, pero los ensayos de calidad raramente estn disponibles sin retardos y usualmente son onerosos. Los modelos basados en redes neuronales proporcionan medidas virtuales en tiempo real, permitiendo acciones de control rpidas para mantener la calidad en el objetivo deseado. Los modelos pueden ser obtenidos no slo a partir de los datos de planta y Laboratorio, sino de datos generados con corridas de modelos de simulacin rigurosos (desarrollados, por ejemplo, en HYSYS). Este ltimo procedimiento se conoce como reduccin de modelos. Optimizacin de Procesos: El valor de la optimizacin basada en modelos est bien probado pero, en general, los modelos analticos de un proceso pueden ser muy difciles de obtener. Al emplear redes neuronales en conjunto con su capacidad de optimizacin en lnea y en tiempo real, puede ser posible obtener el mayor potencial econmico de un proceso.
Mantenimiento Predictivo y Seguridad.: Los modelos basados en redes neuronales pueden ser empleados para
monitorear la performance de mquinas y equipos. Con ellos se pueden detectar tempranamente corrimientos o errores en los modelos operativos o sensores, permitiendo a los ingenieros corregir los problemas antes que devengan en incidentes mayores.
55
Redes Neuronales y Algoritmos de Primer Orden Se puede mejorar, en consecuencia, la disponibilidad de plantas y equipos. El monitoreo continuo del contenido de emisiones (CEM, Continuous Emissions Monitorin g) de NOx, CO2, SO2 en los gases de escape de hornos y calderas es una aplicacin tpica en esta rea. Validacin de Sensores: La deriva progresiva y/o falla abrupta de las seales de sensores son la fuente principal de paradas de planta no planeadas y produccin de productos fuera de especificacin. Con los modelos basados en redes neuronales es posible seguir los valores de los sensores y generar alarmas cuando las medidas provenientes de los sensores fsicos no estn de acuerdo con los valores inferidos para los mismos. El valor inferido puede ser empleado tambin como lnea de base en los casos en que el instrumento es recalibrado o reparado. Prediccin y Estimacin: El futuro puede ser predicho dentro de la precisin que dan los modelos basados en comportamientos. Las redes neuronales pueden aprender los modelos ptimos, adaptados continuamente con el empleo de los ltimos datos medidos. Los ingenieros pueden emplear estas predicciones para estimar la demanda de mercados de corto plazo, predecir estados futuros del proceso o an condiciones meteorolgicas que afecten a las emisiones e impacten sobre la vecindad de la planta. Finalmente, podriamos mencionar que la tecnologa de la NN ha demostrado ser una forma muy poderosa de obtener correlaciones buenas y confiables para ejecutar la aplicacin de analizadores virtuales y para instalar en lnea herramientas de optimizacin de proceso. El software, NeurOn-Line Studio, para desarrollar y poner en lnea tal tecnologa y cubrir las necesidades del personal de ingeniera, de tal manera que ningn profesionalismo se necesite poseer sobre las NNs, pero s sobre el proceso y las relaciones causa-efecto.
56
57

Redes Neuronales

Enviado por

Dados do documento

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Redes Neuronales

Enviado por

Direitos autorais:

Formatos disponíveis

UNIVERSIDAD CATOLICA DE VALPARAISO FACULTAD DE INGENIERIA ESCUELA DE INGENIERA INFORMATICA

INGENIERIA DE SOFTWARE INF 350-1

Redes Neuronales y Algoritmos de Primer Orden

Redes Neuronales y Algoritmos de Primer Orden

Redes Neuronales y Algoritmos de Primer Orden

Redes Neuronales y Algoritmos de Primer Orden

4.1.1 Funcin de entrada (input function).

4.1.2 Funcin de activacin (activation function).

Redes Neuronales y Algoritmos de Primer Orden

Funcin Tangente Hiperblica:

Redes Neuronales y Algoritmos de Primer Orden

Redes Neuronales y Algoritmos de Primer Orden

Aprendizaje supervisado. Aprendizaje no supervisado.

5.5 Aprendizaje no Supervisado.

Redes Neuronales y Algoritmos de Primer Orden

Redes Neuronales y Algoritmos de Primer Orden

Redes Neuronales y Algoritmos de Primer Orden

5.8.3 Resumen de los procedimientos de codificacin.

Redes Neuronales y Algoritmos de Primer Orden

Redes Neuronales y Algoritmos de Primer Orden

Tabla Escenario de Datos Codificacin:

Redes Neuronales y Algoritmos de Primer Orden

Redes Neuronales y Algoritmos de Primer Orden

Redes Neuronales y Algoritmos de Primer Orden

Você também pode gostar