Redes Neuronales 2

REDES NEURONALES ARTIFICIALES
Una red neuronal artificial es una herramienta diseada para imitar la forma
en que el cerebro humano funciona. Se parece al cerebro en dos aspectos,
por una parte la red adquiere conocimientos a travs de un proceso de
aprendizaje, y por otra las conexiones interneuronales, conocidas como
cargas sinpticas presentan una gran solidez que se encargan de almacenar
los conocimientos.
Cmo funciona el cerebro humano ?
Cmo aprende el ser humano ?
Dnde se guarda el conocimiento ?
Por qu es tan eficiente el cerebro humano ?
LIC. NEL QUEZADA LUCIO
El cerebro humano est compuesto por una gran cantidad de elementos
bsicos denominados neuronas
Bsicamente las neuronas estn formadas por:
Un Cuerpo central o Ncleo
Dendritas
Sinapsis (Un mecanismo de conexin con otras neuronas)
Axn
Los estmulos recibidos en el cerebro son transmitidos entre las
neuronas mediante las conexiones sinpticas.
Cuando una neurona es estimulada libera una pequea cantidad de un
componente qumico (neurotransmisor). Este viaja a travs del axn
hasta llegar a las dendritas de otras neuronas en las cuales el proceso se
repite.
Este proceso sirve para incrementar o disminuir la relacin entre las
neuronas involucradas en el.
As, ante un determinado estmulo ciertas neuronas se activan y otras se
inhiben
Del mismo modo que el cerebro est constituido por neuronas, la unidad
bsica constituyente de la red neuronal es el nodo, (neurona) Un nodo es
un elemento de clculo interconectado con otros muchos elementos,
imitando las sinapsis nerviosas. La idea era que, tal vez, conectando un
nmero suficientemente alto de neuronas o nodos la inteligencia
naciese de modo natural del aprendizaje.
A un nodo pueden llegar muchas entradas, xi, proporcionando gran
cantidad de informacin. El nodo condensar esta informacin de algn
modo.
Mediante un proceso de aprendizaje se logran establecer los niveles
correctos de activacin-inhibicin de las neuronas.
Cuando este proceso se completa entonces ante determinados estmulos
sabemos como responder y aprendemos.
El conocimiento adquirido est entonces en los niveles de relacin entre
las neuronas logrados durante el proceso de aprendizaje.
El cerebro es entrenado por repeticin de estmulos !
Cmo puede ser el cerebro tan eficiente ?
Por la enorme cantidad de neuronas (aprox. 100billones) y la manera en que
estn interconectadas (aprox. 60 trillones de sinapsis).
Por la capacidad de organizarse, construir reglas y aprender de la experiencia
Qu es y cmo construir una red neuronal artificial?
Beneficios de usar RNA
Generalizacin: Capacidad para producir respuestas razonables a
estmulos no presentados durante su entrenamiento.
Adaptabilidad: La red puede ser construida para adaptar sus pesos
sinpticos al medio ambiente (re-entrenar).
Robusta: Por su carcter distributivo, una red maneja muy bien daos a
su estructura (ruido).
Complejidad: Puede capturar comportamiento complejo que no es
posible con mtodos tradicionales.
No-paramtrico: No hace suposiciones a priori.
I.- CLASIFICACIN DE LAS REDES NEURONALES
Se clasifica por; su conexin que presenta, la arquitectura o topologa, y el
mtodo de aprendizaje empleado para su entrenamiento.
1.- Segn sus Conexiones: Se clasifican en
1.1 Redes con conexiones hacia adelante (feedforward)
La informacin se propaga hacia adelante por las distintas capas a travs
de los pesos. Son la mayora de los casos que se estudiara
1.2 Redes con conexiones hacia adelante y hacia atrs (feedforward /
feedback)
La informacin circula tanto hacia adelante como hacia atrs, pues existen
conexiones y pesos, en ambos sentidos, que pueden ser diferentes.
Generalmente son redes bicapa. Basan su comportamiento en la
resonancia, esto es, en la interaccin de las informaciones de la primera y
la segunda capa, hasta alcanzar un estado estable. En ocasiones se dan
conexiones laterales entre neuronas de una misma capa.
2.- Segn su Topologa
Las dos arquitecturas de redes neuronales ms usada son los
Perceptrones Multicapa (MLP- Multilayer Perceptron), y las Funciones de
Base Radial (Radial Basis Functions Bsicas).
2.1 El Perceptrn (F. Rosenblatt 1958)
El primer modelo con l que se pretenda ilustrar algunas propiedades de
los sistemas inteligentes. se desarrollaron diversas variantes del perceptrn,
como el perceptrn simple, esto es, sin capa oculta, la gran flexibilidad de
acab desembocando en las redes neuronales. Los perceptrones se
clasifican por el nmero de capas que presentan. As aquellos con dos
capas, esto es, sin capa oculta, son perceptrones simples, y los de una o
ms capas ocultas se llaman perceptrones multicapa.
Un perceptrn simple calcula la combinacin lineal de las entradas (con un
trmino de sesgo) lo que se llama entrada de red; a esa combinacin lineal
se aplica una funcin de activacin, dando lugar a la salida de la red. La
figura 1.4 muestra el diseo de un perceptrn simple.
a.- Esquema del Perceptron Simple
La Funcin de activacin y las ecuaciones del proceso son las siguientes
b.- Esquema de un Perceptron Multicapa, con una capa oculta (NI-NH-NO)
2.2 Redes Neuronales de Base Radial (RBF)
La filosofa es huir de los modelos preestablecidos, y que las observaciones
pasadas den el comportamiento de las salidas. La influencia radica en el
entrenamiento, pero adems se establecen ciertos valores de las variables
de entrada y sus correspondientes variables respuesta de tal forma que
represen a todos los estados del sistema que se desea modelar. Lo que
diferencia a estas redes es el modo en que actan sobre los datos de
entrada, esto es, cmo condensan la informacin que les proporcionan las
distintas variables. Las neuronas de la capa oculta calculan las funciones
radiales bsicas de las entradas.
Esquema de un Red de Base Radial Mltiple con Salida Unidimensional
3 Segn el Tipo de Aprendizaje
La caracterstica distintiva y original de las redes neuronales es el
aprendizaje, generando sus propias reglas, aprendiendo de los datos, El
aprendizaje consiste en la modificacin de los pesos. El proceso de
aprendizaje se llama entrenamiento, los tipos de aprendizaje son.
3.1 Redes On-Line frente a Redes Off-Line
a.- Off line.- Para realizar su aprendizaje se detiene el funcionamiento. Se
tiene dos etapas: una de entrenamiento y otra en que se dedica a
predecir. Cuando proporciona predicciones, no entrena, y mientras
entrena est inhabilitada para dar respuesta a nuevos datos.
b.- On line,- Se caracterstica porque entrena con cada nuevo dato, sin
necesidad de detenerse. Los datos se modifican dinmicamente con
cada nueva informacin. Pero a cambio su carcter esttico durante los
perodos de prediccin hace ms estable al sistema.
3.2 Redes con Aprendizaje Supervisado versus No Supervisado
La diferencia principal radica en la existencia de un "supervisor que
controla el aprendizaje, indicando, bien hacia dnde han de modificarse
los pesos, o si la modificacin es correcta o no.
a.- Aprendizaje Supervisado
Se caracteriza por la existencia de una agente externo que conoce la
respuesta que debera generar la red a partir de una determinada entrada.
La salida de la red es comparada con la respuesta deseada, y si no
coinciden los pesos de las conexiones sern modificados de modo que la
salida obtenida se aproxime a la deseada. La Regla de Aprendizaje del
Perceptrn, constituye el primer ejemplo de aprendizaje supervisado.
Existen tres grandes clases de aprendizaje supervisado
(i) Aprendizaje por correccin de error.
(ii) Aprendizaje por refuerzo.
(iii) Aprendizaje estocstico.
(i) Aprendizaje por correccin de error. El conjunto de entrenamiento est
constituido por las variables de entrada (situacin del sistema) y la salida
(variables objetivo). El ajuste de los pesos se realizar en funcin de la
diferencia entre los valores deseados y los que se obtuvieron en la salida.
(ii) Aprendizaje por refuerzo. En este caso el supervisor no conoce la
respuesta, pero dispone de algn mecanismo que indica si la respuesta es
buena o no. Si la respuesta es adecuada se reforzarn las conexiones que
actuaron para obtener esa respuesta, y si no es, se inhibirn.
(iii) Aprendizaje estocstico. Los cambios de los pesos son de modo
aleatorio, y si el nuevo estado resulta ser ms estable, se aceptarn los
cambios. En caso de que los nuevos pesos aumenten la inestabilidad del
sistema, no sern rechazados de modo inmediato, sino que se
aceptarn los cambios en funcin de cierta distribucin de probabilidades.
Otro tipo de clasificacin. Redes Heteroasociativas tiene variables objetivo
diferentes de las variables de entrada, y Redes Autoasociativas tienen
variables objetivo iguales a las variables de entrada. LIC. NEL QUEZADA LUCIO
Diagrama de Flujo del Entrenamiento
b.- Aprendizaje No Supervisado
No existe supervisor. Las redes no reciben ninguna seal del exterior que les
indique si su salida es o no la adecuada, se auto organizan, en funcin de las
similitudes y diferencias que presenten los datos de entrada (Anlisis
Cluster). Hay dos tipos de aprendizaje.
(i) Regla de Hebb.- El peso de conexin entre dos neuronas se incrementa
cuando aparecen la entrada y la salida deseada. Se considera que se ha
activado la conexin, si el producto de los valores de los nodos es positivo,
esto es, ambas neuronas son activas (+) o pasivas (-). Cada vez que se activa
una conexin se incrementar el peso. Si una neurona es activa y otra
pasiva el peso que las une disminuir su valor (inhibir).
(ii) Aprendizaje Competitivo.-Los nodos de la capa oculta compiten entre
s, de modo que slo uno de ellos se activa, y el resto de salidas
permanecen inactivas. Una de las neuronas de la capa de salida ser la
vencedora (winner take all). Se trata de asociar los datos segn sus
caractersticas de modo que observaciones prximas den como vencedora a
la misma neurona en la capa de salida.
II.- MODELO DE UNA NEURONA
Ncleo:
Procesa la
informaci
n
x
1
x
2
x
i
x
p
.
.
.
.
.
.
w
1
w
2
w
i
w
p
w
0
=b
Dendritas:
Recibe el
estmulo o
establece las
conexiones
sinpticas
Pesos Sinpticos:
Cada dendrita tendr un
peso w
i
para guardar el
conocimiento adquirido
Axn:
Enva la
respuesta
x
0
=1
Parmetro
de sesgo
x
1
x
2
x
i
x
p
.
.
.
.
w
1
w
2
w
i
w
p
w
0
=b
x
0
=1

El estmulo es procesado en el ncleo mediante la operacin

=
= +
+ +
=
X=
1
1
.
.
W=
1
.
.
Los estmulos es un vectores. Cada entrada del vector corresponde a un estmulo

o variable en particular de la cual se tiene cierta cantidad de observaciones.
Estmulo
que recibe
la neurona
Respuesta de la
neurona al
estmulo recibido
Parmetros del modelo Neuronal:
: Funcin de transferencia (link, activacin)
w: Pesos sinpticos
b : Sesgo
III.- FUNCIN DE TRANSFERENCIA (LINK, ACTIVACIN)
La funcin de transferencia se utiliza para limitar el rango de valores de la
respuesta de la neurona. Generalmente los rangos de valores se limitan a
[0,1] o [-1,1], sin embargo otros rangos son posibles de acuerdo a la
aplicacin o problema a resolver. Las funciones de transferencia ms
conocidas son las siguientes
1.-FUNCIN UMBRAL
Se define como:
Los valores se pueden asociar a xito y fracaso esta condicin depender si.
xito Fracaso
= +
++
= =
0
< 0
+ +
++
<
1.1-GRFICA DE LA FUNCIN UMBRAL:
Para dos variables donde:
X=
1
2
W=
0
1
1
1
1
-1
-1
+
+ +
= = +
=1=
=0=

1.2- EJEMPLO:
Sea;
Estimulo Pesos sinpticos
Sesgo b =-1
X=
1
0
1
1
0
W=
1
0.8
1
1
0.5
+
++
= = (-1+0*0.8+1*1-1*1+0*0.5)= (-1)
(-1)=0
2.-FUNCIN SIGNO
Se define como:
La respuesta de la neurona es entonces -1, 0 1.
= +
++
= =
< 0
= 0
> 0
-1
1

2.1- GRFICA DE LA FUNCIN SIGNO:
Para dos variables donde:
X=
1
2
W=
0
1
1
1
1
-1
-1
+
+ +
= = +
=1=
=-1=
>

=0 =
=
2.2- EJEMPLO:
Sea;
Sesgo b =-1
X=
1
0
1
1
0
W=
1
0.8
1
1
0.5
+
++
= = (-1+0*0.8+1*1-1*1+0*0.5)= (-1)
(-1)=-1
3.-FUNCIN LOGSTICA (ms utilizada)
Se define como:
Es la versin continua de la funcin umbral. Es continua en [0,1] e
infinitamente diferenciable. Se utiliza en problemas de aproximacin.
= +
++
= =

+
; , >
3.1- EJEMPLO:
Sea;
Sesgo b =-1
Cul es la respuesta de la neurona si =1 (Parmetro)
X=
1
0
1
1
0
W=
1
0.8
1
1
0.5
+
++
= = (-1+0*0.8+1*1-1*1+0*0.5)= (-1)
=

+
= 0.2689
4.-FUNCIN TANGENTE HIPERBLICA
Se define como:
Es la versin continua de la funcin signo. Es continua en [1,-1] e
infinitamente diferenciable. Se utiliza en problemas de aproximacin
= / =

; , >
4.1- EJEMPLO:
Sea;
Sesgo b =-1
Cul es la respuesta de la neurona si =2 (Parmetro)
X=
1
0
1
1
0
W=
1
0.8
1
1
0.5
+
++
= = (-1+0*0.8+1*1-1*1+0*0.5)= (-1)
=

= 0.76159
5.-FUNCIN LINEAL (IDENTIDAD)
Se define como:
No limita la respuesta de la neurona, Se utiliza en aproximacin o
estimacin lineal
= ; , >
5.1- EJEMPLO:
=
5.2.-FUNCIN REGRESIN LINEAL SIMPLE
Se define como:
+ = + ; , >
w
1
= a
w
0
= b
x
0
=1
+
+ = +
X=
1
W=
x
1
= x
6.-FUNCIN LINEAL ACOTADA
Se define como:
6.1- EJEMPLO:
=
=
0
0 1

1
1
7.-FUNCIN LINEAL ACOTADA SIMTRICA
Se define como:
7.1- EJEMPLO:
=
=
1
1 1

1
1
-1
-1
IV.- PESOS SINPTICOS
Los pesos sinpticos guardan el conocimiento adquirido, los valores se
obtienen mediante un proceso de aprendizaje que se divide en.
1.- Paradigmas de aprendizaje
Se debe a la manera en que la red neuronal interacta o se relaciona con el
ambiente en el cual opera, y pueden ser Aprendizaje supervisado
(Supervisedlearning) Aprendizaje no supervisado (Non supervisedlearning)
2.- Algoritmos de entrenamiento
Tcnicas que permiten obtener los valores de los pesos sinpticos y el
parmetro de sesgo (No modifican la funcin de activacin). Consiste en
modificar los pesos sinpticos utilizando el valor anterior de este mas un
factor de correccin y se diferencian uno de otro en la forma en que dicha
correccin es obtenida.
+
Existen una variedad de algoritmos de entrenamiento cada cual con sus
fortalezas y debilidades.
Nota: Distintos paradigmas de aprendizaje junto con distintos algoritmos de entrenamiento producen diversas redes neuronales.
2.1 Error correction learning or delta rule:
Se usa el error obtenido en la presentacin del estmulo para determinar el
factor de correccin. Se utiliza bajo un paradigma de entrenamiento
supervisado. La respuesta de la red neuronal se compara con la respuesta
deseada y el error cometido se utiliza para modificar los pesos sinpticos
+ =
()
x
2
x
i
x
p
.
.
.
.
w
1
w
i
w
p
w
0
=b
x
0
=1
()
Neurona k
=Contante de aprendizaje
2. Hebbian learning o ractivity product rule (Hebb, 1949) :
Correlaciona la actividad pre y post sinptica (si ambas neuronas se activan
se fortalece la conexin y se debilita en caso contrario). Aqu el factor de
correccin es multiplicativo entre la actividad pre y post sinptica.
El postulado de Hebb establece: Cuando dos neuronas conectadas
(sinpsis) se activan simultneamente, la relacin entre estas se fortalece.
En caso contrario, la relacin se debilita o es eliminada.
La formulacin es establecer la correlacin entre el estimulo de entrada y la
respuesta a dicho estmulo y utilizar esta informacin para actualizar el valor
de los pesos sinpticos.
+ =
()
x
i
w
ki
()
Neurona k
=Contante de aprendizaje
2.3 Competitive learning:
Las neuronas compiten entre si para hacerse activas estableciendo. Solo
una se activa a la vez. Es decir se establece un mecanismo de competencia
entre las neuronas y la respuesta de la red ante un determinado estmulo
proviene exclusivamente de la neurona ganadora.
X(t)
+ =
+()
()
= ()
()
2.4 Memory Based learning:
La red almacena data ya procesada en memoria. Un nuevo patrn es
procesado segn su cercana (en sentido euclideo) a un patrn en memoria.
En este tipo de entrenamiento las experiencias pasadas estn almacenadas
en la memoria de ejemplos que han sido clasificados correctamente.
En este tipo de entrenamiento un nuevo patrn de entrada es comparado
con k patrones cercanos (concepto de vecindad) y luego es asignado la
clasificacin ms frecuente en la vecindad.
Las RBF utilizan este tipo de postulado en su entrenamiento, al igual que las
redes SOM
Distancias
Euclidea : ||x-y||
Producto interno : x
t
*y
||x-y||
x
y
x
t
y

Redes Neuronales 2

Enviado por

Dados do documento

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Redes Neuronales 2

Enviado por

Direitos autorais:

Formatos disponíveis

REDES NEURONALES ARTIFICIALES

Los estmulos es un vectores. Cada entrada del vector corresponde a un estmulo

LIC. NEL QUEZADA LUCIO

Você também pode gostar