Universidad Nacional del Altiplano E.P.

de Ingeniera de Sistemas Laboratorio de Inteligencia Artificial Prctica: Introduccin a las Redes Neuronales
En esta prctica utilizaremos el toolbox de neuronales que viene incorporado en la instalacin de MATLAB (Neural Network Toolbox).

1.1 Aprendiendo la funcin XOR

Para comprender mejor las redes neuronales vamos a ver un ejemplo que resuelve la funcin XOR:

Necesitamos una red neuronal con dos neuronas de entrada y una de salida. Como la funcin XOR no es un problema separable linealmente, intentaremos resolver el problema con una capa oculta en la que colocaremos dos neuronas. El modelo de neurona que utiliza matlab, existen dos posibilidades con o sin bias:

Existen diferentes funciones de activacin de las neuronas:

Ing. MG Carlos Boris Sosa Maydana

De tal forma que el modelo de red neuronal que utiliza matlab es el siguiente:

Para crear la red utilizaremos la funcin newff (fed-forward). Es una red que se propaga hacia-adelante.
>> help newff >> net = newff([0 1; 0 1],[2 1],{'logsig','logsig'})

Ing. MG Carlos Boris Sosa Maydana

Como parmetros necesita el rango de valores de las neuronas de entrada ([0 1; 0 1]), el nmero de celdas en la capa oculta y en la de salida ([2 1]) y la funcin de activacin de cada capa ({logsig,logsig})

Vamos a ver cmo es de buena la red sin entrenar. Necesitamos una matriz con las entradas. Las entradas de la red son las columnas de la matriz. Si queremos una matriz con las entradas: 1 1, 1 0, 0 1 y 0 0 debemos escribir. Los vectores de entrada a la red deben ser vectores columna, por tanto hacemos una matriz con los 4 vectores de entrada:
>> input = [1 1 0 0; 1 0 1 0]

Veamos qu salidas obtenemos si le damos esta entrada a la red:

>> output=sim(net,input) output = 0.3394 0.0659 0.0769 0.1025

La funcin sim se utiliza para simular la red y as calcular las salidas. La salida no es muy buena. Lo deseable era (0 1 1 0) y nos hemos encontrado con (0.3394 0.0659 0.0769 0.1025). Esto es as porque los pesos se han inicializado aleatoriamente y la red no ha sido entrenada (seguramente que cuando lo ejecutes t saldrn otros valores). El objetivo de esta red es ser capaz de producir:
>> target = [0 1 1 0]

Con el comando plot podemos ver el objetivo y lo que hemos conseguido hasta el momento:
>> plot(target, 'o') >> hold on >> plot(output, '+r')

Ing. MG Carlos Boris Sosa Maydana

Objetivo (crculos en azul) y solucin obtenida sin entrenar la red (+ en rojo)

Parece que con los pesos que tiene la red sin entrenar no se obtiene una buena solucin. Veamos los pesos que hay entre la capa de entrada y la capa oculta (Se guardan en IW, input weights):
>> net.IW{1,1}

Podramos cambiar cualquier peso de la red:

>> net.IW{1,1}(1,2)=5; >> net.IW{1,1} ans =

Ing. MG Carlos Boris Sosa Maydana

7.7055 5.0000 -7.9089 -0.4123

Los pesos entre la capa oculta y la capa de salida se almacenan en LW (Layer Weight):
>> net.LW{2,1}

As la red con todos los pesos sera (incluyendo el cambio realizado):

Hemos cambiado un peso, as que podemos volver a evaluar la red:

>> output=sim(net,input) output = 0.6645 0.0659 0.0846 0.1025 >> plot(output,'g*') .

Podramos pasarnos horas modificando los pesos tratando de acercarlos a la solucin (prueba a hacer un par de cambios). Pero parece ms sencillo dejar que los pesos se calculen automticamente. Para ello tenemos que entrenar la red. Para entrenar la red tenemos que utilizar la funcin train:
>> net = train(net,input,target);

Aparece un grfico en el que vemos la evolucin del entrenamiento. El objetivo a alcanzar es bajar de un gradiente de 1E-10 (por defecto). Vemos tambin que el nmero de iteraciones mximo, por defecto, es 100.

Ing. MG Carlos Boris Sosa Maydana

Como hay pocos ejemplos el entrenamiento es muy rpido. Veamos si hemos aprendido

bien
>> output = sim(net,input) output = 0.0000 1.0000 1.0000 0.0000

Y ahora vamos a ver los pesos que se han calculado en el entrenamiento:

>> net.IW{1,1} ans = 9.2325 -11.5070 -12.0289 13.7543 >> net.LW{2,1} ans = 27.6393 30.3009

1.2 Ejercicio
Haz t una red que resuelva la funcin ((A OR B) AND (NOT(C) OR A)) Modifica la estructura de la red, y anota en una tabla comparativa los siguientes parmetros: -Estructura utilizada, epochs, goal, tiempo aproximado de entrenamiento de la red, tiempo de clculo de la salida, etc (Las modificaciones a realizar incluirn al menos aumentar el nmero de capas ocultas, aumentar el nmero de neuronas en cada capa).

Ing. MG Carlos Boris Sosa Maydana

Tambin Se obtuvieron los resultados >> net.IW{1,1} ans = 9.0556 9.0553 24.8732 23.8390 >> net.LW{2,1} ans = -30.7420 37.4736

Ing. MG Carlos Boris Sosa Maydana