Computación Neuronal

Dr. Hugo A.
Banda Gamboa
Departamento de Informtica y Ciencias de la Computacin
Escuela Politcnica Nacional
Dr. Hugo A. Banda Gamboa - 2013 1
CONTENIDO
I. Neurociencias
II. Ciencia Cognitiva
III. Fundamentos de las Redes
Neuronales
IV. Modelo Neuronal
V. Aplicaciones de Redes
Neuronales
VI. Conclusin
3 Dr. Hugo A. Banda Gamboa - 2013
La Neurociencia
La neurociencia es una disciplina cientfica que
estudia la estructura, funcin, desarrollo,
gentica, bioqumica, fisiologa, farmacologa,
patologa del sistema nervioso y la psicologa.
Tradicionalmente se consideraba como una
rama de las ciencias biolgicas.
Sin embargo, recientemente ha habido una
convergencia de intereses de otras disciplinas,
incluyendo ciencias de
computacin, estadstica,
fsica, matemtica, filosofa y medicina.
mbito de la Neurociencia
El mbito de aplicacin de la neurociencia se ha
ampliado para incluir cualquier investigacin
cientfica sistemtica experimental y terica del
sistema nervioso central y perifrico de los
organismos biolgicos.
Las metodologas empleadas por los neuro-
cientficos se han expandido enormemente, del
anlisis bioqumico y gentico de la dinmica
de las clulas nerviosas individuales y sus
componentes moleculares hasta las
representaciones de la percepcin y las
habilidades motrices en el cerebro.
Importancia de las Neurociencias
La neurociencia est en la frontera de la
investigacin del cerebro y la mente.
El estudio del cerebro se est convirtiendo en la
piedra angular para la comprensin de la forma en
que percibimos e interactuamos con el mundo
exterior y, en particular, cmo la experiencia
humana y la biologa humana se influencian una
con otra.
Es probable que el estudio del cerebro se
convierta en uno de los esfuerzos intelectuales
centrales en las prximas dcadas.
Ciencia Cognitiva
La ciencia cognitiva es el estudio
interdisciplinario de la mente y la inteligencia.
Abarca la filosofa, la psicologa, la inteligencia
artificial, la neurociencia, la lingstica y la
antropologa.
Sus orgenes intelectuales estn en la mitad
de la dcada de 1950 cuando los
investigadores en varios campos comenzaron
a desarrollar teoras de la mente sobre la base
de representaciones complejas y
procedimientos de clculo.
Representacin y Computacin
La hiptesis central de la ciencia cognitiva es
que el pensamiento puede ser comprendido
mejor en trminos de estructuras
representativas en la mente y procedimientos
que operan sobre esas estructuras.
La mayora de los trabajos en ciencias
cognitivas asumen que la mente usa
representaciones anlogas a la estructuras de
datos de los computadores; y, procedimientos
similares a algoritmos computacionales.
La Sociedad de Ciencia Cognitiva
Sus orgenes organizacionales datan de
mediados de la dcada de 1970 cuando se
form la Sociedad de Ciencia Cognitiva y se
comenz a publicar la revista Ciencia
Cognitiva.
Desde entonces, ms de sesenta universidades
de Norteamrica, Europa, Asia y Australia han
establecido programas de la ciencia cognitiva,
y muchos otros han creado cursos en ciencia
cognitiva.
La Neurona Biolgica
Nuestro sistema nervioso y, en especial,
nuestro cerebro, est compuesto por un
conjunto de clulas nerviosas, tambin
llamadas neuronas.
Una neurona es una clula altamente
especializada en el proceso de la
informacin, cuya estructura bsica
puede observarse en la Figura.
La morfologa de una neurona comprende
tres elementos principales: el soma, o
ncleo; las dendritas, o terminaciones de
la neurona que actan como contactos
funcionales de entrada con otras
neuronas; y el axn o eje, una rama ms
larga que ser la encargada de conducir el
impulso nervioso y que finaliza tambin
en diversas ramificaciones.
Comunicacin entre Neuronas
Se realiza a travs de las llamadas sinapsis, que
son los puntos de conexin entre las fibras
terminales del axn de una neurona y una
dendrita de otra.
Las sinapsis tambin reciben el nombre de saltos
sinpticos, ya que en la mayora de los casos,
fibras terminales y dendritas no estn en
contacto, sino separadas por una pequea
distancia.
Por ello, al contrario de lo que mucha gente
piensa, el impulso nervioso no es de naturaleza
elctrica, sino electroqumica.
Comunicacin entre Neuronas
Propagacin de las Seales
El impulso nervioso producido por una neurona se propaga por el
axn y al llegar al extremo, las fibras terminales pre-sinpticas
liberan unos compuestos qumicos llamados neurotransmisores.
Los neurotransmisores alteran el estado elctrico de la
membrana post-sinptica. En funcin del neurotransmisor
liberado, el mecanismo puede resultar excitador o inhibidor para
la neurona "receptora".
En el soma de una neurona se integran todos los estmulos
recibidos a travs de todas las dendritas. Si como resultado se
supera un potencial de activacin, la neurona se "dispara"
generando un impulso que se transmitir a travs del axn.
Este impulso no es constante y la capacidad de reaccionar de la
neurona vara con el tiempo hasta volver al estado de reposo. La
comunicacin tiene lugar a travs de trenes de pulsos, por lo que
los mensajes se encuentran modulados en frecuencia.
Respuesta de una Neurona
Biolgica
Tanto el salto
electroqumico como la
aparicin de perodos
refractarios, limitan mucho
la velocidad de la neurona
biolgica y el rango de
frecuencia de los mensajes,
que oscila entre unos pocos
y algunos cientos de
hertzios (ciclos/segundo).
Por ello, el tiempo de
respuesta se ve limitado al
orden de milisegundos,
mucho ms lenta que un
circuito electrnico.
Modelo Neuronal
INTRODUCCIN
Las neuronas biolgicas, que sirven de
modelo para la computacin neuronal,
son entre 5 a 6 rdenes de magnitud ms
lentas que los chips de silicio. Los
eventos en la neuronas biolgicas ocurren
en el orden de los milisegundos (10
-3
),
mientras que en los chips de silicio
ocurren en el rango de los nanosegundos
(10
-9
).
Sin embargo el masivo paralelismo del
procesamiento neuronal biolgico y su
eficiencia energtica, superan
enormemente a los chips actuales.
Diferencias entre Sistemas Neuronales
N de Neuronas
N Conexiones
por Neurona
Cerebro Humano 10
11
10.000
Cerebro de una
Liblula
10
4
1.000
Red Neuronal
Artificial
10
3
100
Dr. Hugo A. Banda Gamboa - 2013
Tipos de Redes Neuronales
TIPO DE RED
NEURONAL
CARACTERSTICA
Red Neuronal
Biolgica
Orgnica
Red Neuronal
Artificial
Electrnica
Red Neuronal
Artificial Simulada
Algortmica
Red Neuronal Biolgica
Neuronas Artificiales Electrnicas
El chip integra 2 neuronas y 16 sinapsis que
simulan la actividad biolgica. Cada neurona
incluye 5 generadores de corriente inica
(K, Na, Leak, Ca, K(Ca))
Modelo McCulloch-Pitts
En 1943 McCulloch y Pitts publicaron un trabajo en el que
se hablaba, por primera vez, de las neuronas artificiales y
de cmo stas podran realizar clculos lgicos.
El modelo de neurona artificial propuesto consiste de
una unidad con funcin de activacin tipo escaln
(binaria) similar a la que se observa en la Figura:
>
<
=
=
=
b p
b p
a
R
i
i i
R
i
i i
1
1
: Si 1
: Si 0
e
e

X
) (
1
b p n
R
i
i i
+ =

=
e
b
1
1
b
+
+
e
1
e
2
e
R-1
e
R
p
1
p
2
p
R-1
p
R
Analogas del Modelo
Este modelo de neurona artificial presenta
numerosas analogas con las neuronas biolgicas:
Los cables o conexiones son anlogos a dendritas y
axones,
Los pesos de ponderacin de las conexiones
equivalen a las sinapsis; y,
El umbral de activacin de la neurona representa la
actividad del soma.
En funcin de su signo, los pesos sinpticos
pueden actuar tanto como activadores (signo
positivo) o como inhibidores (signo negativo).
Operacin de la Neurona
La unidad realiza una funcin de proceso, sumando los
productos de los valores de las entradas p
i
por los
pesos sinpticos e
i
:

Si el resultado obtenido es igual o mayor al valor
del umbral (-b), la neurona se activa produciendo
como respuesta el valor de activacin (a=1).

Por el contrario, si el resultado de aplicar la funcin de
proceso a los valores de entrada no superara el valor
del umbral (-b), la neurona permanecer inactiva y su
salida ser nula (a=0).

=
R
i
i i
p
1
e
b p
R
i
i i
>
=1
e
b p
R
i
i i
<
=1
e
Funciones de Activacin
Desde la publicacin del trabajo de McCulloch y
Pitts ha habido numerosas generalizaciones a su
modelo de neurona, pero la ms empleada
consiste en la sustitucin de la funcin de salida
tipo escaln, por una funcin rampa, Gaussiana y
sigmoide:
) (
1
1
) (
b n
e
n f
+
+
=
o
Rampa
-b
f(n)
n

a
1
Sigmoide
-b
n
a
1
1/2
Gaussiana
-b
f(n)
n

a
1
Funcin de Transferencia Sigmoide Bipolar
-15 -10 -5 0 5 10 15
-1
1
f(n)
n
) (
) (
1
1
) (
b n
b n
e
e
n f
+
+
+
=
o
o
)] (
2
1
tanh[ ) ( b n n f + = o
-b
Notacin Vectorial
En la prctica, para simplificar la notacin y la
programacin del modelo, se suele incluir el umbral de
activacin dentro del sumatorio.
El operador "asterisco" (*) representa el producto
escalar de los vectores de las seales de entrada y de
los pesos de las conexiones sinpticas.
+ = + =

=
Decisin de Umbral el
Atributos de Vector el
Pesos de Matriz la es
Donde
) * ( ) (
1
b
b f b p f a
R
i
i i
p
W
p W e
aumentado atributos de Vector
) ) (
y 1 : Si
0
0 0
=
- = =
= =
=
a
a
p
p W f( p f a
b p
R
i
i i
e
e
Modelo Abreviado de una Neurona
con Vector a la Entrada
W
b
+
f
R
1
a
1 x 1
n
1 x 1
1
1 x 1
p
R x 1
R=# de elementos en el vector de entrada
Neurona Entrada
) ( b f a + = Wp
1 x R
Cmo Aprende una Neurona
Artificial?
El psiclogo Donald Hebb, en sus observaciones
de experimentos neurobiolgicos dedujo que si las
neuronas de ambos lados de una sinapsis se
activan simultneamente repetidas veces, el valor
de la sinapsis se incrementa.
Este principio es lo que se conoce como postulado
de aprendizaje de Hebb.
El aprendizaje de una neurona y de una red
neuronal se traduce en la adaptacin de los pesos
de sus conexiones sinpticas, para disminuir el
error entre la salida producida ante una entrada y
la salida correcta.
El Proceso de Aprendizaje
El proceso de aprendizaje implica la
siguiente secuencia de eventos:
La red neuronal es estimulada por muestras
de su entorno.
La red neuronal sufre cambios como
resultado del estmulo aplicado.
La red neuronal responde al entorno
demostrando el entrenamiento recibido,
debido a los cambios que han ocurrido en su
estructura interna.
Entorno y Conocimiento
No existe una teora bien desarrollada para
optimizar la arquitectura de una red neuronal
requerida para interactuar con un cierto
entorno de inters y para evaluar la forma en
que los cambios en la arquitectura de la red
afectan la representacin del conocimiento
dentro de la misma.
Respuestas satisfactorias a estos problemas se
pueden encontrar a travs de exhaustivos
estudios experimentales, con el diseador de
la red neuronal convertido en parte esencial
de la estructura del ciclo de aprendizaje.
Representacin del Conocimiento
El conocimiento acerca de los objetos de
inters que estn en un determinado entorno,
est representado simblicamente en los
conjuntos de ejemplos que se seleccionan
para:
Entrenar una red neuronal artificial
(Training Set).
Comprobar el aprendizaje de una red
neuronal artificial (Testing Set).
Verificar la operacin de una red neuronal
artificial (Working Set).
Objetos de Inters y Patrones
Los objetos de inters pueden ser datos,
caracteres impresos, seales audibles,
visuales o electrnicas, imgenes,
estados de un sistema o cualquier cosa
susceptible de ser representada,
aprendida, reconocida o clasificada.
Se los representa mediante patrones.
Un patrn es la abstraccin de los
atributos de un objeto de inters.
Sintetiza sus principales rasgos
caractersticos.
Representacin de Patrones
Un patrn usualmente se lo representa por
un vector n-dimensional que integra un
conjunto de mediciones obtenidas de los
atributos del objeto de inters o de sus
interrelaciones.
La representacin del conocimiento
mediante patrones y la seleccin del
correspondiente conjunto de vectores
constituye una de las principales tareas del
proceso de diseo de soluciones con redes
neuronales, y es la clave de su operacin.
Entrenamiento y Aprendizaje Formal
Cada ejemplo del conjunto de
entrenamiento consiste de un par
entrada salida, esto es, un vector de
entrada y su correspondiente respuesta
deseada.
Un sistema es capaz de aprender un
concepto si, dado un conjunto de
ejemplos positivos y negativos, puede
producir un algoritmo que pueda
clasificar correctamente en el futuro,
con probabilidad 1/h.
Teora del Aprendizaje Formal
La complejidad de aprender un concepto
es una funcin de tres factores: la
tolerancia al error (h ), el nmero de
rasgos presentes en los ejemplos (t ) y el
tamao de la regla necesaria para
discriminar (f ).
Si el nmero de ejemplos requeridos
para el entrenamiento de un sistema
est dado por un polinomio en h, t y f,
entonces se dice que el concepto es
aprendible.
Tamao de la Muestra
Para los procesos de aprendizaje, se ha
demostrado que para minimizar el error
del sistema, el nmero de ejemplos para
cada clase, elegidos aleatoriamente
para conformar el conjunto de
entrenamiento, debe ser al menos tres
veces el nmero de rasgos utilizados
para representar cada caso, esto es tres
veces la dimensin del vector del patrn
caracterstico.
Preprocesamiento
El entrenamiento de una red neuronal puede
realizarse en forma ms eficiente si se aplican
ciertos pasos de preprocesamiento a los
vectores de entrada y salidas esperadas.
Varios pueden ser los mtodos a aplicarse:
Anlisis del poder discriminante de los atributos.
Escalamiento de entradas y salidas (rango entre -1
y +1)
Normalizacin de entradas y salidas (media cero y
desviacin estndar unitaria)
Anlisis de componentes principales (reduccin
dimensional)
Poder Discriminante de Atributos
La evaluacin de poder discriminante y la
seleccin de atributos es una etapa
importante en el diseo de un sistema de
reconocimiento de patrones.
La prueba de William Kruskal y W. Allen
Wallis es un mtodo no paramtrico que se
utiliza para probar si dos o ms grupos de
datos provienen de la misma poblacin.
Es idntico al mtodo ANOVA en el que se
asume normalidad de los datos.
Estilos de Entrenamiento
Entrenamiento Incremental
Los pesos de las conexiones sinpticas y los
valores de los umbrales de decisin, son
actualizados cada vez que un vector de
entrada es presentado a la red.
Entrenamiento por Lotes
Los pesos de las conexiones sinpticas y los
valores de los umbrales de decisin, son
actualizados despus de que todo el grupo
de vectores de entrada han sido presentados
a la red (poca).
Generalizacin
Uno de los problemas que ocurren
durante el entrenamiento de redes
neuronales es el sobre entrenamiento.
El error en el conjunto de entrenamiento
alcanza un valor muy pequeo, pero
cuando nuevos vectores son
presentados a la red el error es grande.
La red ha memorizado los ejemplos de
entrenamiento, pero no tiene capacidad
de generalizacin a situaciones nuevas.
Matriz de Confusin
Describe los errores en los que incurre
una red neuronal al tratar de clasificar
un conjunto de vectores representativos
del problema para el que fue entrenada.
Los grupos de clasificacin componen
tanto las filas como las columnas.
Los valores en su diagonal representan
los casos correctamente clasificados y
aquellos fuera de la diagonal los errores
cometidos.
Matriz de Confusin
Grupos o Clases
1 2 3 4 5
1 c
11
e
12
e
13
e
14
e
15
2 e
21
c
22
e
23
e
24
e
25
3 e
31
e
32
c
33
e
34
e
35
4 e
41
e
42
e
43
c
44
e
45
5 e
51
e
52
e
53
e
54
c
55
G
r
u
p
o
s

o

C
l
a
s
e
s

Tipos de Errores
Error Optimista
Se obtiene cuando se calcula el error de una
matriz de confusin construida utilizando el
conjunto de entrenamiento como conjunto
de prueba.
Error Pesimista
Resulta del clculo del error dado por una
matriz de confusin construida utilizando un
conjunto de prueba diferente al conjunto de
entrenamiento.
Tipos de Errores

Error Optimista
Error Pesimista
%
N Muestras
Error
Real
N
1
Paradigmas de Aprendizaje
Aprendizaje supervisado
Aprendizaje por refuerzo
Aprendizaje no - supervisado
Paradigma de Aprendizaje
Supervisado

PROFESOR
RED NEURONAL
ENTORNO
+
-
Seal de Error
Vectores
Descriptivos del
Entorno Respuesta
Actual
Respuesta
Deseada
Conocimiento
Paradigma de Aprendizaje por
Refuerzo

CRTICO
ELEMENTO DE
APRENDIZAJE
ENTORNO
Acciones
Vector
de Estado
Entrada
Sistema de
Aprendizaje
Refuerzo
Heurstico
BASE DE
CONOCIMIENTO
Refuerzo
Primario
ELEMENTO DE
ACTUACIN
Paradigma de Aprendizaje No
Supervisado
En el aprendizaje no supervisado o auto organizativo, no
existe un profesor o un crtico para supervisar el
proceso de aprendizaje.
Entorno
Capa de
Entrada
Capa
Competitiva
Sistema de Aprendizaje
Paradigma de Aprendizaje No
Supervisado
No hay ejemplos especficos de la funcin a
ser aprendida por la red. A cambio se provee
una medida, independiente de la tarea, que
determina la calidad de la representacin que
debe ser aprendida por la red, y sus
parmetros libres son optimizados con
respecto a esa medida.
Una vez que la red se ha sintonizado con las
regularidades estadsticas de los datos de
entrada, desarrolla la habilidad de formar
representaciones internas para los rasgos
caractersticos de la entrada y por lo tanto
crea nuevas clases automticamente.
APLICACIONES DE REDES
NEURONALES
Diseo de Soluciones con Redes
Neuronales Artificiales
Comprende los siguientes pasos:
Seleccionar una arquitectura de red neuronal,
apropiada para resolver el problema identificado.
Escoger un conjunto de ejemplos para entrenar la red,
utilizando un algoritmo apropiado. Esta fase es la que
corresponde al entrenamiento o aprendizaje de la red.
Probar la capacidad de la red entrenada para resolver
el problema propuesto, utilizando un conjunto de
datos de prueba. Esta es la fase de prueba de la red.
Evaluar la operacin de la red con un conjunto de
datos de verificacin, que no hayan sido utilizados en
el entrenamiento o las pruebas. A esta fase se la
denomina de generalizacin.
El Perceptrn de Frank Rossenblat
En 1958, Frank Rossenblat desarroll una aplicacin
prctica para la neurona de McCulloch y Pitts,
aplicando las ideas de aprendizaje de Hebb. construy
una mquina capaz de reconocer objetos de forma
visual. As naci el Perceptrn, la primera red
neuronal de la historia.
El diseo del perceptrn consista en una capa de
elementos sensores, cuyas salidas se conectaban a las
entradas de una neurona de McCulloch-Pitts a travs
de detectores de umbral de las seales de los
sensores.
El nmero de detectores de umbral era inferior al de
elementos sensores, por lo que un detector poda
conectarse a ms de un sensor. La distribucin de
estas conexiones era aleatoria.
El Perceptrn de Frank Rosenblatt
Neurona de
McCulloch y Pitts
Perceptrn Simple como
Clasificador
binaria activacin de Funcin
entradas de Nmero
) * (
) (
) (
1
, 1
2 2 , 1 1 1 , 1
=
=
+ =
+ =
+ + =
=
f
R
b p W f a
b p f a
b p p f a
R
i
i i
e
e e
p
1
p
2
p
0
= 1

e
1,1
a

e
1,2
e
1,0
= b

2 , 1
1
2 , 1
1 , 1
2
e e
e
b
p p =
p
2
p
1
W*p+b > 0
a = 1

W*p+b= 0
a = 0

W*p+b< 0
a = 0

Regla de Aprendizaje del Perceptrn Simple
1. Inicializar todos los pesos W y umbrales de
decisin b a valores aleatorios.
2. Para q = 1 hasta q = Q:
Presentar un par entrada (p
q
) salida (t
q
).
Calcular la respuesta de las neuronas a
q
al patrn p
q
:

Calcular las matrices y realizar los ajustes a los pesos y
a los valores del umbral de decisin:

3. Si el error es mayor al aceptable, volver al paso
2.

Ejemplo en MATLAB
| |
| |
| | 8 , 1 7 , 1 0 , 4 2 , 2 1 , 1 74 , 1 20 , 1 96 , 2 26 , 1 72 , 0 *
0 , 0 0 , 0 0 , 0 0 , 0 0 , 0 0 , 1 0 , 1 0 , 1 0 , 1 0 , 1
0 , 1
0 , 2
0 , 1

5 , 0
0 , 1
0 , 1

5 , 0
0 , 1
0 , 1

0 , 0
5 , 0
0 , 1

0 , 0
5 , 0
0 , 1

0 , 2
0 , 1
0 , 1

5 , 1
5 , 0
0 , 1

0 , 2
0 , 0
0 , 1

0 , 1
5 , 0
0 , 1

5 , 0
0 , 1
0 , 1
31 , 2 22 , 1 66 , 1
= =
=
(
(
(
=
=
a a
a
a
P W Y
R
P
W
Perceptrones Simples para
Funciones Lgicas
Funcin OR
x
1
x
2
y

0 0 0
0 1 1
1 0 1
1 1 1
Funcin AND
x
1
x
2
y

0 0 0
0 1 0
1 0 0
1 1 1
60
x
1
x
2
x
0
= 1

e
1,1
y

e
1,2
e
1,0
= b
1
N

Perceptrn Multicapa
x
1
x
2
e
11
e
12
-u
3
e
22
e
21
e
31
e
32
y

y
2
y
1
-u
2
-u
1
) (
) (
) (
3 2 32 1 31
2 2 22 1 21 2
1 2 12 1 11 1
u e e
u e e
u e e
+ =
+ =
+ =
y y f y
x x f y
x x f y
y
2
> 0

y
1
> 0

y
1
< 0

y
2
< 0

y
2
= 0

y
1
= 0

ADALINE
Salida Lineal
Filtro Adaptable
D
D

b
w
1,1
w
1,2
w
1,3
n(t)

a(t)

p
1
(t)=p(t)

p
2
(t)=p(t-1)

p
3
(t)=p(t-2)

) ( b k a + = Wp
Red MADALINE
S=# de adalines en la capa
W
b
+
R
1
a
S x 1
n
S x 1
S
S x 1
p
R x 1
Capa de Neuronas Lineales Entrada
) ( b Wp a + = k
S x R
Vehculo Robtico
Entradas Salidas
Accin
SI
(x1)
SD
(x2)
SF
(x3)
MI
(y1)
MD
(y2)
0 0 0 1 1 Avanza
0 0 1 0 0 Retrocede
0 1 0 0 1 Giro Izquierda
0 1 1 0 0 Retrocede
1 0 0 1 0 Giro derecha
1 0 1 0 0 Retrocede
1 1 0 0 0 Retrocede
1 1 1 0 0 Retrocede
f (n
1
)
f (n
2
)
n
1
n
2
66
Red de Retropropagacin
(Backpropagation)
i
j
k
b
i
b
j
w
j,j
w
j,k
Regla Delta
p
n
p
m
p
p
m
p
m
n m
n m
p
n
p
m
p
p
m
p
m
n m
p m
p
m
p
m
p m n
p
n n m
p
m
p m
p
m
p
m
x h f y r
D
x h f y r
D
h f r D
x f r D
y r D
) ( ) (
) ( ) (
] ) ( [
2
1
] ) ( [
2
1
) (
2
1
: (error) cuadrtica media Desviacin
,
,
,
2
2
,
2
'
=
c
c
=
'
=
c
c
=
=
=
c
e
c oe
e
e
Regla Delta Generalizada
(Error Back-Propagation)
| |
| |
| | ) (
) (
) (
2
1
) ( ) (
) ( ) (
,
,
2
,
,
p
i
p
p
i
p
i
i
i
p
j
p
i
p
p
i
p
i
j i
j i
p i
p
i
p
i
k
j j k k j j
j
i i j j i i
h f s r
b
D
b
s h f s r
D
h f r D
h f b x f s
h f b s f s
'
=
c
c
=
'
=
c
c
=
=
= =
= =
o o o
o
e
o oe
e
e
Regla Delta Generalizada
(Error Back-Propagation)
| |
| |
| |

A =
=
c
c
c
c
'
=
c
c
=
' '
= A A =
=
c
c
c
c
'
=
c
c
=
p
p
j j
j
j
j
p
i
p
i
p i
p
i
p
i
j
j
p
j j i
p
i
i
p
i
p
i
p
j
p
k
p
p
j k j
k j
j
j
p
i
p
i
p i
p
i
p
i
k j
k j
b
b
s
s
h
h f h f r
b
D
b
h f h f s r x
s
s
h
h f h f r
D
o o
o o o
e o oe
e
o
e
o oe
) ( ) (
) ( ) ) ( (
) ( ) (
, ,
, ,
,
Notacin Abreviada de Red
Feedforward
LW
2,1
b
2
+
1
S x 1
S x 1
S
S x 1
Capa de Salida
) (
2 1 1 , 2 2
b a LW a + = k
S x H
IW
1,1
b
1
+
R
1
H x 1
n
1
H

x 1
H
H x 1
p
1
R x 1
Capa Oculta Entrada
) (
1 1 1 , 1 1
b p IW a + = f
H x R
n
2
a
1
a
2
H=# de neuronas en la capa oculta
S=# de neuronas en la capa de salida
Ejemplo: Clasificacin de Cangrejos
Se trata de clasificar cangrejos por su gnero
(masculino, femenino) a partir de caractersticas
fsicas. Se utilizan seis mediciones que
corresponden a los siguientes atributos:
Especie (0 = azul; 1 = anaranjado)
Tamao del lbulo frontal
Ancho posterior
Longitud del carapacho
Ancho del carapacho
Profundidad del cuerpo
Gnero (male, female)

Preparacin de los Datos
Dada la naturaleza no lineal de los problemas que se
encuentran en el mundo real, las redes neuronales son las
mejores herramientas que uno puede utilizar para resolver
problemas como este que trata de clasificar cangrejos por
su gnero, utilizando las seis mediciones de caractersticas
como entradas y el gnero como salida.
Los datos recopilados corresponden a 200 ejemplares
(crabdata.csv). Las mediciones de los atributos, tienen
valores numricos, pero el gnero est dado en forma
textual. Debido a que las redes neuronales en MATLAB no
pueden ser entrenadas con datos no numricos, es
necesario aplicar una tcnica de conversin simblica a
codificacin unaria. Esto es, 'Female' ser representado
por el vector [1 0] y 'Male' representado por [0 1].
Para la clasificacin se utiliza una red neuronal tipo
feedforward backpropagation con una configuracin
6:20:2
Ejemplo: Prediccin de Consumo
La prediccin de consumo de carga refleja las
necesidades futuras de una poblacin; esta previsin
debe ser lo ms ajustada a la realidad, ya que unos
valores inferiores a los reales causaran deficiencias en
la prestacin del servicio en el futuro y un pronstico
de necesidades superior al real, motiva la inversin
prematura en instalaciones que no tendrn un
aprovechamiento inmediato.
La proyeccin del suministro de energa se hace con
base en el consumo, aplicando porcentajes de
prdidas que pueden obtenerse de un anlisis de los
registros histricos (que normalmente se presentan
en forma estadstica), o por similitud con otros
sistemas.
Datos de Consumo Mximo (MW)
HORA Lunes Martes Mircoles Jueves Viernes Sbado Domingo
1 1,23 1,6049 1,663 1,7299 1,7129 1,713 1,414
2 1,0889 1,4389 1,4689 1,5159 1,4569 1,2821 1,325
3 1,0289 1,3631 1,389 1,432 1,3461 1,182 1,2249
4 0,9879 1,3559 1,3751 1,3931 1,288 1,122 1,2239
5 0,9879 1,3439 1,3611 1,3909 1,2331 1,0961 1,124
6 1,105 1,389 1,414 1,431 1,1911 1,1059 1,0191
7 1,3729 1,5699 1,604 1,614 1,157 1,171 0,9989
8 1,6649 1,775 1,8009 1,817 1,17 1,2751 0,9989
9 1,79 2,018 2,0739 2,0989 1,2139 1,4121 0,979
10 2,1569 2,19 2,2301 2,226 1,337 1,545 1,015
11 2,323 2,3359 2,3649 2,381 1,4799 1,711 1,1271
12 2,3659 2,363 2,399 2,3741 1,574 1,741 1,2271
13 2,3731 2,3359 2,358 2,3021 1,5951 1,7129 1,295
14 2,2311 2,156 2,2 2,1459 1,5771 1,62 1,313
15 2,156 2,0799 2,1231 2,0581 1,5629 1,557 1,2909
16 2,208 2,1651 2,1749 2,0809 1,532 1,5831 1,26
17 2,2949 2,2551 2,2049 2,1651 1,544 1,6251 1,2669
18 2,3741 2,3671 2,3349 2,238 1,638 1,6251 1,3631
19 2,5 2,477 2,464 2,282 1,731 1,895 1,453
20 2,434 2,431 2,378 2,154 1,748 1,904 1,602
21 2,356 2,354 2,414 2,102 1,7921 1,931 1,644
22 2 2,21 2,004 1,995 1,8321 1,936 1,615
23 1,989 1,7085 1,8582 1,904 1,862 1,958 1,503
24 1,808 1,7 1,7071 1,859 1,793 1,748 1,499
Curvas de Carga
Red Backpropagation 2:12:8:1
para Prediccin
Redes de Base Radial
Las redes neuronales de base radial
usualmente requieren ms neuronas que
las redes de retropropagacin, pero se
entrenan mucho ms rpido que stas.
Existen dos variantes:
Redes neuronales probabilsticas,
utilizadas para problemas de
clasificacin.
Redes neuronales de regresin
generalizada, utilizadas para
aproximacin de funciones.
Modelo de Capa de Neuronas Base
Radial
W
b
.*
R
1
a
S x 1
n
S x 1
S
S x 1
p
R x 1
Capa de Neuronas Base Radial
Entrada
2
) (
) (
n
e n f
f
=
= b p W a
S x R
dist
S x 1
Red de Base Radial
IW
b
.
*
R
1
a
1
S
1
x 1
n
S
1
x 1
S
1
S
1
x 1
p
R x 1
Entrada
S
1
x R
dist
S
1
x 1
LW
2,1
b
2
+
1
S
2
x 1
S
2
x 1
S
2
S
2
x 1
Capa de Salida Lineal
) (
2 1 1 , 2 2
b a LW a + = k
S
2
x S
1
n
2
a
2
) (
1 1 , 1 1
b p IW a = RadBas
Red Neuronal de Regresin
Generalizada
IW
b
.
*
R
1
a
1
Q x 1
n
1
Q

x 1
Q

Q x 1
p
R x 1
Entrada
Q x R
dist
Q x 1
LW
2,1
nprod

Q x 1
Q x 1
Q

Capa de Salida Lineal Especial
) (
1 1 , 2 2
a LW a k =
n
2
a
2
) (
1 1 , 1 1
b p IW a = RadBas
Q x Q
Q=# de pares entrada/salida
Red Neuronal Probabilstica
IW
b
.
*
R
1
a
1
Q x 1
n
1
Q

x 1
Q

Q x 1
p
R x 1
Entrada
Q x R
dist
Q x 1
LW
2,1
K x 1
K x 1
K

Capa de Salida Competitiva
) ( compet
1 1 , 2 2
a LW a =
n
2
a
2
) (
1 1 , 1 1
b p IW a = RadBas
K x Q
C
Q=# de pares entrada/objetivo
K=# de clases en los datos de entrada
Red de Contrapropagacin
Vector de Entrada X Vector de Entrada Y
Vector de Salida Y
Capa 2
Capa 1
Capa 3
Outstar
Mapa Auto-Organizativo de
Kohonen (SOM)
NODOS DE
SALIDA
X0
X1 Xn-1
ENTRADAS
Modelo de Capa de Neuronas
Competitivas
W
b
+
R
1
a
S x 1
n
S x 1
S
S x 1
p
R x 1
) ( compet
) (
n a
n
=
+ = b p W
S x R
dist
S x 1
C
Arquitectura del SOM
IW
1,1
R
a
1
S
1
x 1
n
1
S
1
x 1
S
1
p
R x 1
) ( compet
) (
1 1
1 , 1 1
n a
p W n
=
=
S
1
x R
ndist
C
Arquitectura de la Red Learning
Vector Quantizer (LVQ)
IW
1,1
R
n
1
S
1
x 1
S
1
p
R x 1
) ( compet
) (
1 1
1 , 1 1
n a
p W n
=
=
S
1
x R
ndist C
a
1
S
1
x 1
LW
2,1
S
2
x 1
S
2
x 1
S
2
Capa de Salida Lineal
) (
1 1 , 2 2
a LW a k =
n
2
a
2
S
2
x S
1
Capa Competitiva
Red Auto-organizativa Adaptive Resonance
Theory (ART)


Biologa
- Modelos cognoscitivos y de sistemas
biolgicos.
Militares
- Clasificacin de seales de radar.
- Fabricacin de armas inteligentes.
- Asistencia en anlisis y
administracin de operaciones.
Empresa
- Evaluacin prospectiva de
formaciones geolgicas y
petrolferas.
- Evaluacin de personal.
- Data mining.
- Reconocimiento de patrones.
- Administracin de horarios y
reservaciones de vuelo
Medio Ambiente
- Anlisis de tendencias y patrones.
- Pronstico del tiempo.

Finanzas
- Anlisis de evolucin de precios.
- Anlisis de riesgos en prstamos.
- Reconocimiento de firmas.
- Seguridad en documentos.
Medicina
- Sistemas para ayuda a
discapacitados.
- Sistemas para diagnstico y
tratamiento mdico.
- Prediccin de efectos secundarios en
medicamentos.
- Procesadores de Rayos X.
- Anlisis de seales biolgicas.
Manufactura
- Sistemas de control automtico,
visin computarizada y robtica.
- Control de procesos de produccin.
- Sistemas para control total de
calidad.

Principales Aplicaciones de las Redes Neuronales
Conclusin
Lo que tenemos que
aprender a hacer, lo
aprendemos
haciendo.

Aristteles - tica

Computación Neuronal

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Computación Neuronal

Enviado por

Direitos autorais:

Formatos disponíveis

Dr. Hugo A.

Você também pode gostar