Perceptrn Multicapa XOR

Edison Arturo Buri Abab

Email: eburi@est.ups.edu.ec
Universidad Politcnica Salesiana

Abstract En el siguiente documento presenta informacin
acerca de un Perceptrn Multicapa, partiendo desde su sustento
terico, desarrollo de un algoritmo, hasta la interpretacin de los
resultados obtenidos.
Index Terms linealmente separables (linearly separable),
Neurona (Neurone), Perceptrn (Perceptron).
I. INTRODUCCIN
Si bien es cierto que al crearse la computadora electrnica
(1946) se pudo facilitar la implementacin de algoritmos que
ayuden a resolver un sin nmero de problemas; sin embargo
al transcurrir los aos, llegaron a tener sus limitaciones ya que
los implementos posteriores fabricados necesitaban cada vez
ms asimilar las capacidades humanas en lo referente a toma
de decisiones; un ejemplo que podemos destacar es la
clasificacin de objetos que una simple computadora no
logra desarrollar y es donde aparecen las redes neuronales
que son capaces de desplegar dicho trabajo.
Las redes neuronales no son ms que un modelo artificial y
simplificado de un cerebro humano porque es capaz de
adquirir conocimiento a travs de la experiencia. Se podra
decir que una red neuronal est inspirada o basada en la clula
fundamental del sistema nervioso de un ser humano la
neurona y que al trabajar en conjunto (conectarse), puede
lograr resolver grandes procesos.
una cantidad razonable de estas neuronas ya que, al existir un
nmero inferior al necesario, la respuesta podra obtener un
grado de error, mientras que un nmero mayor podra dar
como consecuencia la lentitud de la bsqueda de respuesta.
El tipo de asociacin de neuronas artificiales crean en si tres
diferentes tipos de capas; las capas de entrada que son las
responsables de recibir de forma directa el estmulo externo y
por tanto tomarn la informacin de entrada. El siguiente tipo
de capa se denomina capa oculta, designada as porque no
tiene contacto o relacin directa con la informacin de
entrada ni de salida y pueden variar en cantidad, es decir
dependiendo del requerimiento pueden existir varias capas
ocultas dentro de un sistema; Es importante aclarar que, al
existir ms de dos capas dentro de un sistema, la red se
denomina red multicapa. La red backpropagation contiene
ms de dos capas, por lo tanto, es una red multicapa. El
tercer tipo de capa es la capa de salida cuyo trabajo es dar
la respuesta al sistema creado.
A continuacin, se muestra como ejemplo un diagrama de una
red neuronal multicapa.

En este texto nos enfocaremos al estudio de las redes

backpropagation, redes que se podra decir que se encuentran
por encima de las redes perceptron y adaline y merecen un
estudio ms minucioso en el cual explique su comportamiento
y aplicacin en las diferentes ramas de la ciencia, en especial
dentro de las ciencias mecnicas como la prediccin de la
velocidad de un motor.

II. MARCO TEORICO Figura 1. Ejemplo de un esquema de una Red neuronal [1].

A pesar de que Paul Werbos en el ao de 1974 desarroll la
idea bsica del algoritmo de aprendizaje de las redes
backpropation (redes hacia atrs); no es sino en el ao 1986
por medio de Rumelhart y Hilton que el algoritmo de dicha
red es analizada y desarrollada a profundidad [1].
Para comprender este tipo de red, es necesario tomar en
cuenta algunos puntos elementales de una red neuronal que
aclaran el concepto y razn de ser de la red backpropagation.
Las redes neuronales estn basadas en el dispositivo
elemental del ser humano, la neurona cuyo objetivo es
reproducir el comportamiento del cerebro. El trabajo en
conjunto de estas neuronas permite en cierta forma encontrar
respuestas favorables. Es importante encontrar un nmero
A groso modo el trabajo de una neurona es simple y nico, se
basa en primer lugar en recibir el o los estmulos en el caso
de pertenecer a la capa entrada o bien recibir la o las entradas
de las clulas vecinas (para el caso de pertenecer a la capa
oculta), estos estmulos son conocidos como estado(s) de
activacin aj(t) y pueden ser continuos o discretos. En
segundo lugar es calcular un valor de salida por medio de
la funcin de activacin yj(t)= fj(aj(t)), para luego, y como
ltimo paso, enviar esta salida a todas las clulas contiguas
(si es caso de estar en una capa oculta) o como respuesta o
una de las respuestas esperadas del sistema.
El diagrama de las partes fundamentales de una neurona
multicapa se muestra a continuacin:

Figura 2. Elementos de una neurona [2]
Con los antecedentes descritos anteriormente, se puede ahora
conocer con mayor nfasis lo que es una red backpropagation.
La red backpropagation se caracteriza por ser una red
multicapa, es decir, consta de una capa de entrada, una o
varias capas ocultas y una capa de salida, este tipo de red
puede tener varias entradas y varias salidas; alcanza
aprender tanto sistemas lineales como no lineales [2]; Su
red de entrenamiento es del tipo off-line, es decir, la red se
inhabilita hasta que el proceso de aprendizaje termina,
tambin significa que existe una fase de aprendizaje y una
fase de operacin o funcionamiento, por tanto, existen dos
conjuntos: los datos de entrenamiento y datos de prueba. Es
una red de aprendizaje supervisado, es decir, necesita de un
agente externo que controle el aprendizaje determinando la
salida que debe tener la red a cada una de las entradas.
De forma especfica el funcionamiento de este tipo de red
consiste en el aprendizaje de un conjunto predefinido de pares
de entradas-salidas, y como primer paso, se aplica un patrn
de entrada como estmulo a la capa de entrada, este estmulo
se va propagando por todas las capas ocultas existentes en el
sistema hasta llegar a la capa de salida, esta genera una salida
final; a rengln seguido, se compara el resultado en las
neuronas de salida con la salida deseada y se calcula un valor
de error para cada neurona de salida. Si este error es
aceptable, el proceso termina all, pero si no satisface, como
paso siguiente, los errores se transmiten hacia atrs (de all su
nombre particular), empezando desde la capa de salida hacia
todas las neuronas de la capa oculta que contribuyan
directamente a la salida. Este proceso particular de ida y
vuelta se repite hasta que las neuronas de la ltima capa
reciban un error relativo al error total. Al suceder esto, de
forma simultnea los pesos de cada neurona van variando
hasta conseguir la salida deseada del sistema [1] es aqu la
importancia de esta red, tiene la habilidad de auto adaptar los
pesos de las neuronas (internas) hasta aprender la relacin
existente entre el conjunto de patrones de entrada y las
salidas.
La funcin de activacin de las neuronas de la red
backpropagation requiere que sea de tipo continuo y por tanto
diferenciable algunas de estas se muestran a continuacin.
Figura 3. Funciones de activacin [2]
NUMERO DE CAPAS
Por lo general existen solo tres capas, la de entrada es la capa
1, la capa oculta es la capa 2, y la de salida es la capa 3, como
se muestra en la figura 2.1, a pesar de que no existe regla
alguna que determine el nmero de capas de estas redes, hay
ocasiones en las que la red se vuelve ms eficiente, al
incrementar el nmero de capas ocultas pues este incremento
en el nmero de capas ocultas le permite que generaliza ms
rpido la informacin, pero el costo computacional aumenta.
Figura 4. Disponibilidad de las capas de la red [3]
El mtodo de backpropagation, basado en la generalizacin
de la regla del gradiente decreciente o regla delta, a pesar de
sus limitantes, ha aumentado de forma considerable el rango
de aplicaciones de las redes neuronales. El funcionamiento de
la red backpropagation consiste en el aprendizaje de un
conjunto predefinido de pares de entradas-salidas dados
como, primero se aplica un patrn de entrada como estmulo
para la primera capa de las neuronas de la red, se va
propagando a travs de todas las capas superiores hasta
generar una salida, se compara el resultado de la capa de
salida con la salida que se desea tener y se comienza a calcular
un valor de error para cada neurona de salida. Previamente,
estos errores se transmiten hacia atrs, partiendo de la capa de
salida hacia todas las neuronas de la capa intermedia que
contribuyan directamente a la salida. Este proceso se repite,
capa por capa, hasta que todas las neuronas de la red hayan
recibido un error que describa su aportacin relativa al error
total. Basndose en el valor del error recibido, se reajustan los
pesos sinpticos de cada neurona, de manera que en la
siguiente vez que se presente el mismo patrn, la salida est
ms cercana a la deseada [4][5][7].
III. DESARROLLO
Para el desarrollo del sensor virtual se utiliz los softwares de
Matlab con los cuales conjuntamente se hizo uso del
algoritmo de Backpropagation.
Figura 5. Red de Diseo para Perceptrn Multicapa [3]
Pasos del Desarrollo:
1. . Inicializar los pesos de la red con valores pequeos
aleatorios
 2. Inicializar los pesos de la red con valores pequeos IV. PROGRAMA
aleatorios.
3. Presentar un patrn de entrada y especificar la
salida deseada que debe generar la red. Tabla 1. Valores de Ingreso.
4. Calcular la salida actual de la red. Para ello se
presentan las entradas a la red y se calcula la salida P1 P2 T
de cada capa hasta llegar a la capa de salida, sta 0 0 0
ser la salida de la red. Los pasos son los 0 1 1
siguientes: 1 0 1
5. Se calculan las entradas netas para las neuronas 1 1 0
ocultas procedentes de las neuronas de entrada.
Para una neurona j oculta:
Tabla 2. Pesos Finales..
Se realizan los mismos clculos para obtener las
salidas de las neuronas de salida: W1 W2 T
4.9743 -3.5305 -2.6659
2.1106 -5.5375 -5.7011
-7.2398 14.2871 -12.8031

Tabla 3. Valores de Salida.

P1 P2 T
0 0 0.0113
0 1 0.9956
1 0 0.9805
6. Calcular los trminos de error para todas las 1 1 0.0183
neuronas.

Si la neurona k es una neurona de la capa de salida, el valor

de la delta es:

La funcin f debe ser derivable. En general disponemos de

dos formas de funcin de salida:

Figura 6. Pesos Finales de la Red Multicapa [3]

7. Actualizacin de los pesos: para ello utilizamos un

V. VARIABLES
algoritmo recursivo, comenzando por las neuronas
de salida y trabajando hacia atrs hasta llegar a la Tabla 4. Variables Programa - Informe.
capa de entrada, ajustando los pesos de la siguiente
Programa Informe
forma: net Hx
f_k x2(1)
error delta3_1
W pesos

VI. CONCLUSIONES Y RECOMENDACIONES

En ambos casos, para acelerar el proceso de aprendizaje se
puede aadir un trmino momento.
No se pueden dar reglas concretas para determinar
el nmero de neuronas o nmero de capas de una
red para resolver un problema concreto.
Respecto al nmero de capas de la red, en general
tres capas son suficientes (entrada-oculta-salida).
Sin embargo, hay veces que un problema es fcil
de resolver con ms de una capa oculta. El tamao
de las capas, tanto de entrada como de salida, suele
estar determinado por la naturaleza de la
aplicacin. En cambio, decidir cuntas neuronas
debe tener una capa oculta no suele ser tan
evidente. El nmero de neuronas ocultas interviene
en la eficiencia de aprendizaje y de generalizacin
de la red. No hay ninguna regla que indique el
nmero ptimo, en cada problema se debe ensayar.
La Red Perceptrn Multicapa soluciona el
problema de la compuerta XOR, ya que esta no
puede ser implementada en una red de Capa
Simple.

VII. BIBLIOGRAFA

[1] Marco Antonio Valencia Reyes, Algoritmo Backpropagation

para redes neuronales: conceptos y aplicaciones, PDF, Instituto
politcnico nacional de investigacin en computacin, Ao 2006.

[2] Carlos Javier Broggi, Comparacin de modelos de redes

neuronales utilizados en sistemas de soporte de decisiones, PDF,
Universidad Tecnolgica Nacional, facultad Regional Resistencia,

[3] Sh. Gorjiana , T. Tavakkoli Hashjina, M. H. hoshtaghazaa, A.R.

Sharafatb, Designing and Optimizing a BP Neural Network to
Model a Thin Layer Drying Process, Department of Agricultural
Machinery Mechanics, College of Agricultural Engineering, Tarbiat
modares University

[4]RED BACKPROPAGATION, disponible en

http://proton.ucting.udg.mx/posgrado/cursos/idc/neuronales2/Estru
cturaB.htm

[5] Pedro Ponce Cruz INTELIGENCIA ARTIFICIAL CON

APLICACIONES A LA INGENIERA primera edicin editorial
alfaomega grupo editor S.A de C.V. Mexico

[6] BROWN, D. & ROTHERY, P. 1993. Models in Biology. Ed.

Springer-Verlag. Berln.

[7] Jos R. Hilera y Victor J. Martinez, Redes Neuronales

Artificiales, Alfaomega-Rama, 2000

[8] S.Y. Kung, "Digital Neural Networks", Prentice Hall, 1993.

[9] E. Castillo Ron, . Cobo Ortega, J. M. Gutirrez Llorente, R. E.

Pruneda Gonzlez, Introduccin a la Redes Funcionales con
Aplicaciones, Paraninfo, 1999

[10] ayuda de Matlab disponible en

http://www.mathworks.com/products/matlab/