UNIVERSIDAD NACIONAL DEL SANTA

UNIVERSIDAD NACIONAL DEL SANTA

FACULTAD DE INGENIERIA

E.A. SISTEMAS E INFORMATICA

CURSO : Sistemas De Informacion I

TEMA : casos de estudio

PROFESOR : APESTEGUI FLORENTINO YIM ISAIAS

CICLO : V

INTEGRANTES : CODIGO

Palacios Garca Jhordy 0201014052

Meza osorio jonathan 0000000000000

Yauri villanueva Yarina 000000000000

Coveas gutierre luis 00000000000000

Chimbote peru

2012
 UNIVERSIDAD NACIONAL DEL SANTA

Antecedentes

En 1943, Warren McCulloc y Walter Pitts originaron el primer modelo de operacin

neuronal, el cual fu mejorado en sus aspectos biolgicos por Donald Hebb en 1948.

Perceptron fue creada por Rosenblatt en 1958 y su xito incial se debi a que era capaz de
aprender y reconocer patrones sencillos. Con el desarrollo del perceptrn, surge el rea de las
Redes Neuronales Artificiales dentro de la Inteligencia Artificial.

Definicion

El perceptrn (Perceptron en ingls) fue el primer modelo de Red Neuronal Artificial

supervisada. Es la ms simple de las Redes neuronales.

El Perceptrn es un tipo de red neuronal artificial desarrollado por Frank Rosenblatt,

tambin puede entenderse como perceptrn la neurona artificial y unidad bsica de
inferencia en forma de discriminador lineal, que constituye este modelo de red neuronal
artificial, esto debido a que el perceptrn puede usarse como neurona dentro de un
perceptrn ms grande u otro tipo de red neuronal artificial.

Definicin de Perceptron en la realidad

El concepto ms bsico que permite comenzar a entender un perceptrn es asociarlo a un

sensor, ya sea de temperatura, humedad, nivel de lquidos, grado de acidez, coloracin,
densidad, etc. Es, en esencia, un dispositivo que, dada la presencia de uno o varios
fenmenos de entrada, permite representarlo(s) mediante una seal de salida fcilmente
reconocible. Ahora bien, si dotamos a este simple dispositivo de varios canales de entrada
(dos o ms), le habremos agregado una notable mejora ya que podr discriminar o
diferenciar entre distintos fenmenos de entrada variables y entregarnos una salida que
representar el criterio diferenciador o resultado de la interaccin entre las entradas.
 UNIVERSIDAD NACIONAL DEL SANTA

El modelo biolgico ms simple de un perceptrn es una neurona y vice versa. Es decir, el

modelo matemtico ms simple de una neurona es un perceptrn, La neurona es una
clula especializada y caracterizada por poseer una cantidad indefinida de canales de
entrada llamados dendritas y un canal de salida llamado axn.

Las dendritas operan como sensores que recogen informacin de la regin donde se hallan
y la derivan hacia el cuerpo de la neurona que reacciona mediante una sinapsis que enva
una respuesta hacia el cerebro, esto en el caso de los seres vivos.

Una neurona sola y aislada carece de razn de ser. Su labor especializada se torna valiosa
en la medida en que se asocia a otras neuronas, formando una red. Normalmente, el axn
de una neurona entrega su informacin como "seal de entrada" a una dendrita de otra
neurona y as sucesivamente. El perceptrn que capta la seal en adelante se entiende
formando una red de neuronas, sean stas biolgicas o de sustrato semiconductor
(compuertas lgicas).

Funcionamiento

En la siguiente figura se representa una neurona "artificial", que intenta modelar el

comportamiento de la neurona biolgica. Aqu el cuerpo de la neurona se representa
como un sumador lineal de los estmulos externos zj, seguida de una funcin no lineal
yj = f(zj). La funcin f(zj) es llamada la funcin de activacin, y es la funcin que utiliza la
suma de estmulos para determinar la actividad de salida de la neurona.

Este modelo se conoce como perceptrn de McCulloch-Pitts, y es la base de la

mayor parte de las arquitectura de las RNA que se interconectan entre s.
 UNIVERSIDAD NACIONAL DEL SANTA

Las neuronas emplean funciones de activacin diferentes segn la aplicacin, algunas

veces son funciones lineales, otras funciones sigmoidales (p.ej. la tanh), y otras funciones
de umbral de disparo. La eficiencia sinptica se representa por factores de peso de
interconeccin wij, desde la neurona i, hasta la neurona j.

Los pesos pueden ser positivos (excitacin) o negativos (inhibicin). Los pesos junto con
las funciones f(z) dictan la operacin de la red neuronal. Normalmente las funciones no se
modifican de tal forma que el estado de la red neuronal depende del valor de los factores
de peso (sinpsis) que se aplica a los estmulos de la neurona.

En un perceptrn, cada entrada es multiplicada por el peso W correspondiente, y los

resultados son sumados, siendo evaluados contra el valor de umbral, si el resultado es
mayor al mismo, el perceptrn se activa.

Limitantes

El perceptrn es capaz tan slo de resolver funciones definidas por un hiperplano (objeto
de dimensin N-1 contenida en un espacio de dimensin N). que corte un espacio de
dimensin N. Un ejemplo de una funcin que no puede ser resuelta es el operador lgico
XOR.

Una explicacin mas sencilla de un hiperplano sera, hablando en un plano de dos

dimensiones, una lnea que separa a los elementos existentes en dos grupos. El
perceptrn slo puede resolver una funcin, si todos los posibles resultados del problema
pueden separarse de sta forma (en dos secciones) es decir, que no se combinen entre s.

Entrenamiento

El entrenamiento de un perceptrn es por medio de la regla de aprendizaje delta:

Para cada peso W se realiza un ajuste dW segn la regla:

dW = LR ( T - Y ) X

Donde LR es la razn de aprendizaje, T el valor deseado, Y el valor obtenido, y X la entrada

aplicada al perceptrn.
 UNIVERSIDAD NACIONAL DEL SANTA

Arquitectura del Perceptrn

Perceptrn simple

La siguiente imagen ilustra la arquitectura del perceptrn para patrones con slo dos
caractersticas:

Explicacin

Como se puede apreciar, el perceptrn est formado por dos capas, una de
entrada con un nmero de nodos determinado y una de salida con un slo nodo el
cul se encuentra conectado a cada uno de los nodos de la capa de entrada
mediante una conexin que est valuada con un peso (w1, w2 y w3).

Existe un nodo extra llamado bias el cul no tiene contacto con el exterior y su
valor siempre es 1. Cabe hacer la aclaracin que algunos autores no toman en
cuenta la capa de entrada debido a que en sta no se lleva cabo ningn
procesamiento de la informacin, simplemente sirve como enlace con el exterior
de la red neuronal y su nica tarea es recibir los valores de entrada del exterior y
pasrselos al nodo de la capa de salida. Para estos autores el perceptrn consta de
una capa. Para este artculo, el perceptrn consta de dos capas: una de entrada y
una de salida.

Para la primera capa, tendremos igual nmero de nodos que nmero de

caractersticas en los patrones a analizar ms el nodo del bias, o bien, dicho de otro
modo, tendremos igual nmero de nodos que nmero de elementos en nuestro
vector que representa al patrn ms el nodo del bias.
 UNIVERSIDAD NACIONAL DEL SANTA

Es decir, si tenemos un patrn representado por el siguiente vector p1 = [a1,a2],

entonces tendremos en nuestra primera capa dos nodos de entrada ms el nodo
del bias cuya salida siempre ser 1. Los dos nodos de la capa de entrada
relacionados con las caractersticas del patrn, debern ser alimentados con los
valores respectivos de los patrones que se estn usando.

Entrenamiento y Operacin del perceptrn

El perceptrn es una red supervisada. Esto quiere decir que debe ser entrenada con
un conjunto de patrones previamente clasificados de manera que, si los clasifica
incorrectamente, se pueda corregir el error mediante una regla de aprendizaje. En
general, para entrenar la red, necesitaremos un conjunto de patrones previamente
clasificados llamado muestra de entrenamiento y un conjunto de patrones llamado
muestra de control con el que se probar el poder de generalizacin de nuestra red.

Existen varios mtodos, no slo aplicables a Redes Neuronales sino a cualquier

clasificador, para entrenar y probar el clasificador como pueden ser el Hold Out, el
de Validacin Cruzada o el Leaving One out entre otros, pero bueno, eso es harina
de otro costal.

El entrenamiento se da en iteraciones; una iteracin comienza cuando se le presenta

el primer patrn de la muestra de entrenamiento y finaliza cuando se le muestra el
ltimo patrn de la muestra de entrenamiento. En cada iteracin, se presentan uno
por uno los patrones de la muestra de entrenamiento a la red y, si lo clasifica bien,
se prosigue con el siguiente patrn pero si lo clasifica mal, se corrigen los pesos
mediante la regla de aprendizaje y se sigue con el siguiente patrn utilizando los
nuevos pesos.

El entrenamiento concluye cuando pasa una iteracin en la que clasific

correctamente todos los patrones o bien, se alcanza un lmite de iteraciones
previamente definido por nosotros.

Los pesos iniciales son aleatorios y se recomienda que se encuentren en un rango de

-0.5 a 0.5, que no se repitan y que ninguno sea 0.
 UNIVERSIDAD NACIONAL DEL SANTA

Ahora bien, en el nodo de la capa de salida es donde se lleva a cabo el

procesamiento de la informacin. Como sabemos, cada nodo, incluyendo el bias,
est conectado con el nodo de la capa de salida y su conexin est ponderada con un
peso. Lo primero que debe hacer el nodo de la capa de salida al recibir es calcular la
entrada neta:

Figura 3

Este net es la suma de las multiplicaciones del valor de salida de los nodos de
entrada por su correspondiente peso. Por ejemplo, si tuvieramos un patrn de dos
caractersticas ms el valor de salida del bias que es 1: p1 = [2,3,1] y tuvieramos un
vector de pesos w=[0.2,0.3,0.4], el net sera

net = (2*0.2)+(3*0.3)+(1*0.4)

net = 0.4 + 0.9 + 0.4

net = 1.7

Una vez calculado el net, se tiene pasar a una funcin de decisin que indica si el
valor se le asigna a una clase o a otra:

Figura 4

Como se puede ver aqu, si el valor del net es mayor que cero, entonces se le asigna
al patrn la clase 1 y si es menor o igual que cero se le asigna la clase 0.
 UNIVERSIDAD NACIONAL DEL SANTA

Si la clasificacin fue correcta no se hace nada, pero si fue incorrecta, es decir,

clasific como 1 siendo que el patrn pertenece a la clase 0 o viceversa, entonces
hay que corregir los pesos utilizando la siguiente regla de aprendizaje:

Dnde:

w(n+1) es el vector de pesos que se usar para el siguiente patrn.

w(n) es el vector de pesos actual.

es un escalar llamado razn de aprendizaje, el cual es un valor positivo entre cero y uno
y se fija de antemano por uno.

t(n) es la salida esperada, o sea, si el patrn fue clasificado previamente como de la clase 0,
t(n) sera 0.

d(n) es la salida dada por la Red, o sea, el 0 o 1 con el que clasific al patrn.

z(n) es el vector del patrn aumentado, es decir, el vector del patrn con el elemento 1 del
bias.

Como se puede ver, w y z son vectores mientras que t y d son escalares.

Pues bien, lo que dice esta frmula, es que el nuevo vector de pesos que se usar para el
siguiente patrn se obtiene restando la salida deseada menos la salida real (obtencin del
error, o sea, qu tanto se equivoc la red) y el resultado, multiplicarlo por la razn de
aprendizaje.

Una vez obtenido este escalar, hay que multplicar el vector del patrn aumentado por l y
despus sumarle el vector de pesos actual. En realida no est complicado, ms adelante
haremos una pequea prctica para ilustrar cmo realizar estas operaciones.
 UNIVERSIDAD NACIONAL DEL SANTA

Interpretacin Geomtrica del Perceptrn

se puede ver al perceptrn como una funcin discriminante lineal para crear una
frontera de decisin.

Ilustraremos esto usando dos dimensiones ya que esto se generaliza a cualquier

nmero de dimensiones.

Si tenemos un patrn de dos caractersticas, lo podemos graficar en un plano con dos ejes
para tener una representacin visual de la distribucin de los patrones.

El perceptrn, para la clasificacin de patrones de este tipo (dos caractersticas), tendra dos
nodos ms el bias en la capa de entrada por lo que tendramos un vector de pesos de tres
elementos, por ejemplo:

w = [w1,w2,w3]

Estos pesos pueden verse como los coeficientes en una ecuacin de la recta. Recordemos
que la ecuacin de la recta est dada por:

Ax + By + C = 0

Figura 6

Pues bien, del vector w, el elemento w1 corresponde al coeficiente A, el elemento w2 al

coeficiente B y el peso del bias w3 al coeficiente C. Esto demuestra tambin la necesidad de
tener un bias y por qu el bias siempre tiene como salida 1. El peso del bias representa el
coeficiente C y es necesario para que la recta no pase siempre por el origen.
 UNIVERSIDAD NACIONAL DEL SANTA

Si nos fijamos, la ecuacin del net (Figura 3) es precisamente la parte izquierda de la

ecuacin de la recta donde los pesos son los coeficientes y los valores del vector del patrn
son las variables x y y en este caso en particular y el 1 del bias sera como multiplicar el
coeficiente C por 1.

Figura 3

Si uno evala un punto en una ecuacin de la recta con coeficientes A B y C especficos

sustituyendo las variables x y y con las coordenadas del punto, tendremos como resultado
un cero si es que la recta pasa por ese punto o bien, un resultado negativo o positivo si es
que la recta pasa a la derecha o izquierda del punto.

Para ms dimensiones, simplemente se aumentan las variables en la ecuacin de manera

que se tenga la ecuacin de un plano para tres dimensiones o hiperplano para ms de tres
dimensiones siendo la mecnica la misma.

NOTA:

Lo que se hace con el entrenamiento, es tratar de encontrar los coeficientes (los pesos)
que hagan que la recta, plano o hiperplano se ajuste para dividir correctamente el
espacio de observacin.

Ejemplo prctico

Supongamos que tenemos la siguiente lista de patrones:

Figura 7
 UNIVERSIDAD NACIONAL DEL SANTA

Nuestra muestra de entrenamiento estar dada por:

Figura 8

Nuestro vector inicial de pesos ser:

Figura 9

Nuestro ser igual a 0.9.

Comenzamos con la primera iteracin presentando el patrn P1 a la red.

Calculamos el net

net = (1.5 * 0.5) + (3 * -0.1) + (1 * 0.2) = 0.65

Usando la funcin de decisin (Figura 4) se clasifica el patrn como perteneciente a la

clase 1. El patrn en realidad pertenece a la clase 0 por lo que hay que corregir los pesos.

Figura 4

Corregimos los pesos usando la regla de aprendizaje (Figura 5), lo haremos en esta ocasin
peso por peso, en las siguientes simplificaremos y haremos los clculos directamente
usando los vectores.

Figura 5
 UNIVERSIDAD NACIONAL DEL SANTA

w1(n+1) = 0.5 + (0.9 * (0 - 1) * 1.5) = -0.85

w2 (n+1) = -0.1 + (0.9 * (0 - 1) * 3) = -2.8

w3 (n+1) = 0.2 + (0.9 * (0 - 1) * 1) = -0.7

Con estos nuevos pesos, evaluamos el segundo patrn P4 calculando su net:

net = (-0.85 * 3.5) + (-2.8 * 4) + (-0.7 * 1) = -14.875

Consultando la funcin de decisin tenemos que la red clasifica a esta clase como 0 siendo
que es 1 por lo que corregimos sus pesos (Recuerde que lo que se encuentra dentro de []
son elementos de un vector):

w(n+1)= [ -0.85 , -2.8 , -0.7 ] + (0.9 * (1-0) * [ 3.5 , 4 , 1 ])

w(n+1)= [ -0.85 , -2.8 , -0.7 ] + (0.9 * [ 3.5 , 4 , 1 ])

w(n+1)= [ -0.85 , -2.8 , -0.7 ] + [ 3.15 , 3.6 , 0.9 ]

w(n+1)= [ 2.3 , 0.8 , 0.2 ]

Con los nuevos pesos, evaluamos el siguiente patrn que sera el P3.

net = (2.3 * 1) + (0.8 * 2) + (0.2 * 1) = 4.1

Usando la funcin de decisin vemos que se clasific el patrn como 1 siendo que es 0 por
lo que ajustamos los pesos:

w(n+1) = [ 2.3 , 0.8 , 0.2 ] + (0.9 * (0 - 1) * [ 1 ,2 , 1 ])

w(n+1)= [ 1.4 , -1 , -0.7 ]

Con los nuevos pesos evaluamos el siguiente patrn P6

net = (1.4 * 4) + (-1 * 2) + (-0.7 * 1) = 2.9

Podemos ver que la funcin de decisin lo calsifica correctamente como 1 por lo que no
hacemos nada.
En este punto comienza la segunda iteracin, recordemos que termina cuando pasa una
iteracin sin errores o bien se alcanza un nmero lmite de iteraciones mximas.
Presentamos el primer patrn P1:

net = (1.4 * 1.5) + (-1 * 3) + (-0.7 * 1) = -1.6

La clasificacin con la funcin de decisin es 0 por lo que es correcto y continuamos con el

siguiente patrn P4:
 UNIVERSIDAD NACIONAL DEL SANTA

net = (1.4 * 3.5) + (-1 * 4) + (-0.7 * 1) = 0.2

La clasificacin de 0.2 es 1 por lo que es correcto y presentamos el patrn P3:

net = (1.4 * 1) + (-1 * 2) + (-0.7 * 1) = -1.3

La clasificacin con la funcin de decisin es 0 por lo que es correcto y continuamos con el

siguiente patrn P6:

net = (1.4 * 4) + (-1 * 2) + (-0.7 * 1) = 2.9

La casificacin nuevamente es correcta por lo que en este punto termina el entrenamiento

ya que se realiz una iteracin completa sin que hubiera un error. Los pesos finales de la
red sern: w = [ 1.4 , -1 , -0.7 ].

Perceptrn multicapa

Introduccin

El perceptrn multicapa es un aproximador universal de relaciones no lineales entre datos

de entrada y de salida. Histricamente se ha aplicado con xito en numerosas aplicaciones
como reconocimiento de voz e imgenes. Aunque su tiempo de aprendizaje es bastante
lento, el perceptrn multicapa es realmente efectivo cuando las instancias estn
representadas por muchos pares atributo-valor.

Arquitectura del perceptrn multicapa

La arquitectura tpica de un perceptrn multicapa consiste de tres partes: una capa de

entrada, una capa de salida y una o varias capas ocultas.
 UNIVERSIDAD NACIONAL DEL SANTA

En cuanto al diseo de la arquitectura, el simulador SNNS del perceptrn multicapa emplea

la funcin de activacin sigmoidal, donde sus parmetros suelen ser determinados por el
mtodo de prueba y error. Es necesario remarcar este punto porque no existe una regla
exacta que determine los valores ptimos de una red basada en perceptrn multicapa.

Aprendizaje del perceptrn multicapa

Por ltimo, esta arquitectura emplea el algirmo de Backpropagation. Consiste en ajustar los
pesos de la red para minimizar el error global, con el objetivo de que la salida de la red sea
lo ms prxima posible a la salida deseada. Este algoritmo es uno de los puntos
caractersticos del perceptrn multicapa.

Modelos de aprendizaje del perceptrn multicapa

No existe un proceso automtico para determinar el nmero ptimo de neuronas en un

perceptrn multicapa. Variando el nmero de neuronas ocultas y la razn de aprendizaje, se
obtienen distintos valores para el error cuadrtico medio (MSE), de forma que el mnimo
error (en nuestros experimentos) se obtiene con 60 neuronas en la capa de entrada, 18 en la
capa oculta y una razn de aprendizaje de 0,2.

Conclusiones

Comparando resultados experimentales, se llega a la conclusin de que el perceptrn

multicapa es un muy buen aproximador, ya que presenta mejores resultados en cuanto a
error y porcentaje de aciertos que el perceptrn simple. Esto es as gracias a la influencia de
la capa de neuronas ocultas y la tasa de aprendizaje.

Es incorrecto decir que el perceptrn multicapa es el mejor aproximador, ya que los

resultados finales dependen de una gran cantidad de factores de los datos de prueba. Pero
haciendo una comparacin de estos dos modelos, s se puede afirmar que el perceptrn
multicapa es capaz de aprender y ofrecer mejor porcentaje de aciertos a la hora de clasificar
datos de entrada.