Video 3

Hola aquí estamos de nuevo para el capitulo 3 de las redes neuronales, muy bien vamos aquí a
ver que pasa, ahora si vamos a entrar en detalle, bueno tenemos nuestra caja y vamos a
suponer vamos a hacer que tenemos por ejemplo tres entradas y dos salidas tal como hemos
visto antes, antes estas entradas a estos números le llamamos 𝑥1 , 𝑥2 y 𝑥3 y ahora llamaremos
𝑦1 , 𝑦2 a estas salidas, entonces vale vamos a ver que ocurre por aquí dentro, por aquí dentro
claro tendrá que haber vamos a poner algunas pelotitas pero estas serán como algo asi como
unas neuronas pero de entrada, luego aquí claramente tendrá que haber otras neuronas de
salida que serán datos concretos, muy bien y luego aquí podríamos poner una neurona o
podríamos poner tres neuronas o podríamos poner dos y dos, bueno podemos hacer lo que
queramos y la estructura de las neuronas que pongamos puede ser crucial para resolver el
problema que queramos hacer entonces si solo ponemos una capa oculta digo oculta porque
no es entrada ni salida, a todo lo que no sea entrada ni salida se le llama capa oculta asi de
fácil, entonces si aquí ponemos una capa oculta es posible que pudiéramos tener algún
problema para generalizar o para aprender asi que en la mayoría de casos con dos capas ya se
solucionan vamos el 90% de los problemas asi que pues me permito poner dos capas ocultas y
voy a poner pues ni que sea vamos a que no sean ni tres ni dos para no confundir asi que voy a
poner cuatro neuronas aquí y cuatro aquí perfecto muy bien entonces, cuantas capas
tendremos cuatro, aquí diremos bueno vamos a empezar con la anotación 𝑛1 es el numero de
neuronas de la capa 1 aquí tenemos 3 pues pondremos que esto es tres 𝑛2 sera 4 la tercera
capa también tiene 4 y por ultimo la ultima capa, la capa 4 la capa de salida tiene 2 muy bien.

Y ahora vamos a interconectar todas las neuronas entre si bueno es decir, todas estas
neuronas estarán conectadas con estas, estas con estas y estas con estas digamos en principio
no permitimos que se conecten esta con la otra vale ahora, tampoco voy a entrar en detalles
pero se ha visto que con estas conexiones se puede ya resolver el problema y minimizamos
bastante la complejidad de la red y podemos solucionar mas eficientemente los problemas, si
no fuera asi entonces pues también se permitiría estas conexiones y de hecho hay otras otro
tipo de redes que si que lo permiten pero este no es el caso del percepton multicapa asi que
nada lo que habrá aquí es una conexión, una sinapsis en el lenguaje de la biología que
conectara esta con todas, esta también con todas, en línea y aquí tenemos todas las posibles
conexiones y aquí lo mismo, esta, esta con esta, etc, rápido y si me equivoco no pasa nada
porque ya se pìlla la idea, y aquí tenemos unas cuantas y por ultimo se conecta con esto,
fantástico.

Cada línea verde tendrá asociada una ϖ (omega) entonces esto es digamos la voy a poner aquí
un 1 entre paréntesis aquí en 2 y aquí en 3 y estos números entre paréntesis lo que nos viene a
decir son los pesos o las sinapsis o las conexiones, las primeras que nos encontramos estas son
las segundas que nos encontramos y estas son las terceras por eso pongo 1,2 y 3, por tanto
tendremos las conexiones pero los pesos o las ϖ (omegas), bueno aun no he dicho lo que es
nada pero bueno ya habéis visto que le llamaba pesos asi que asi es como se llama pero bueno
ahora digo como. Bueno entonces los pesos estos pues habrá unos cuantos y diremos a ver por
ejemplo este peso de aquí conecta la 1 con la 1 como le podemos llamar, pues asi de fácil un 1
y un 1, el primer 1 significa que estamos con la neurona 1, el segundo 1 es que estamos con la
primera neurona pero de la siguiente capa, entonces la neurona de inicio neurona del final.

Entonces si queremos conectar esta con esta pues entonces será una con dos y nuevamente el
uno porque estamos refiriéndonos a las conexiones del tipo 1. Por tanto ya os podeis imaginar
que en esta primera tanda de pesos, pues tendremos todos estos que esto lo podemos
resumir si quereis pues ϖ1𝑗 donde la i va desde 1 hasta n y hasta 3 posibilidades y la j será
igual a los posibles valores que puede tomarse, 1,2,3,etc hasta llegar a 𝑛2 es decir 4 que es el
numero de neuronas que tiene la capa 2 que en total son 4.
Visto esto lo voy a poner en la nomenclatura de estas y de estas pues ya que es muy fácil
porque esto seria en el caso donde los pesos y los pesos 2 pues lo mismo pondríamos aquí un
2 porque estamos ahí en el medio y también poníamos ij pero esta vez la i ira desde 1 hasta 𝑛2
y la j desde 1 hasta 𝑛3 o sencillamente porque conectamos la capa 2 con la capa 3, vale
recordar que esto es capa 1, capa 2, capa 3 y capa 4 como estamos conectando la capa 2 con la
capa 3 por eso estos índices van hasta el numero de neuronas que tenga la capa 2 y la capa 3, y
por ultimo, la ultima el giro rápido pues será lo mismo i hasta 𝑛3 y 𝑛4 , numero de neuronas en
la capa 3 y numero de neuronas en la capa 4, aquí solo hay 2.

Esto seriamos la nomenclatura para los dos pesos, déjame ponerlo y en realidad esto podemos
poner pues no se ij y aquí pues no se quede otra poner la verdad k,

Voy a borrar voy a decirlos que bueno lo que ya sabemos que para tenerlos bien bonito en la si
estamos en la k=1 por ejemplo quiere decir esto y quiere decir que conectaríamos la capa 1
con la capa 2, por lo tanto el índice este iria de 1 hasta n si que hubiera un 1 pues aquí habría
un 1 por tanto si hay una k quiere decir que le ponemos la k y la j es la siguiente capa por lo
tanto iríamos desde 1 hasta n y la k+1 porque es la siguiente capa, estas cosas van bien para
luego cuando hay que programarlo de tal pues ya sabes de donde van los índices y ya no solo
piensas una vez lo apunta y ya esta, muy bien.

Vamos ahora al turno para ver como se comporta una neurona, entonces como todas se
comportan igual salvo las primeras que son super sencillas porque el comportamiento de este
super trivial osea que esto va a ser lo mas fácil vamos a coger a cualquiera de estas neuronas y
preguntarnos como se comportan muy bien, como la neurona esta la que sea porque todos
son iguales todos son iguales que se comportan igual quiere y diremos bueno pues
supongamos que a esa neurona pues le llegan no se cuantos unas cuantas conexiones las que
sean y después ella saca una salida y eso es bueno en realidad aquí hay varias salidas pero
transmite en el mismo numero a todas por lo tanto es como si solo hubiera una salida, vale
pero esto que se entienda si por ejemplo aquí esta neurona saca un 5 pues y por ejemplo se
esta pues este 5 se va aquí aquí y aquí y aquí por cierto 5 no puede ser porque la salida tendrá
que ser entre cero y uno como enseguida veremos pero bueno ya me entendéis, el numero
que saque que hay y dado a todos por igual, claro aquí no se que letra poner para que no se
confunda, por ejemplo vamos a suponer que le llega el numero 𝑧1 , 𝑧2 y 𝑧3 , no quiero poner ni
x ni nada por el estilo para que luego no se confunda pensad que esto simplemente son
números y que se llaman 𝑧1 , 𝑧2 y 𝑧3 por llamarlo de alguna manera y aquí después habrá que
coger la ϖ (omega) que no se como llamarle pues ϖ1 , ϖ2 y ϖ3 insisto esto no tiene nada que
ver con esta nomenclatura es solo para que veais como se comporta y cuando lo hayamos
visto simplemente adapto ya a la nomenclatura que habíamos visto y ya ahí queda queda bien
puesto para cuando lo utilicemos en el futuro.

Luego esta neurona además no esta en todas, tiene además una pequeña cosa que no he
dicho y es muy importante, tiene como una especie de patita que no viene de ningún sitio,
porque esta conectada a un uno para entendernos a que le entra el numero uno siempre y que
tiene un peso (u), eso es un poco raro pero teneis que pensar o simplemente como que es una
patita de entrada que por cierto la he puesto mas inclinada para alla quizá sea mejor y lo
ponga asi, para que se vea como que es una entrada, bueno u o 𝑢1 a secas porque solo hay
uno, por lo tanto desde el punto de vista de cualquier neurona tendremos las conexiones que
vienen de otras neuronas y una patita extra para cada neurona en la que entra un uno pero
hay un peso de u.

Cuando yo os he dicho al principio de todo que en la maquina que nos daban había ruedecitas
yo os he dicho y os dije que esto era ϖ1 , ϖ2 olvide decir pero expresamente que también hay
unas ruedecitas que se llaman 𝑢1 , 𝑢2 , etc, no lo dije para no liar pero es la misma historia
nosotros tenemos que mover las ruedas de las omegas y las ruedas de las u para minimizarlo,
es el mismo concepto.

Y si no digo algo sobre esto pues va a ser tan raro que mejor que diga algo para justificar de
donde viene esto porque si no que esto no va a ser demasiado raro, vale esta cosa de aquí se
inspira en una neurona de verdad como las que tenemos en nuestro cerebro, es un modelo
matemático simplificado pero se inspira en eso, entonces lo que ocurre es que todas las
neuronas que tenemos pues están conectadas a otras mediante estos palitos, entonces estos
palitos pasan dos cosas: una que entra un numero proveniente de otra neurona y este palito
según sea mas o menos fuerte hara que la señal que entre por esta patita sea mas o menos
fuerte por eso a esto se le llama peso cuanto mayor sea este numero mayor contribución
tendrá este numero y por tanto mas intensidad de no ser numérica por llamarle de alguna
manera va a entrar por aquí y la misma historia se aplica para cada uno de estos y son insisto
las conexiones que vienen de las neuronas que tenemos ahora ya a la izquierda y luego esta
patita de aquí es lo que se llama el umbral o umbral de activación o como quereis decirlo, si
este umbral es muy grande tanto positivamente como negativamente hace que la neurona o
se excite al máximo y de una salida de uno o que no se excite para nada y de una salida de
cero, entonces la u si es grande positiva quiere decir que esto no se va a excitar y va a ser un
cero independientemente de lo que haya aquí y si la u es muy grande negativa quiere decir
que si que se va a excitar a tope y va a dar un uno independiente de lo que tenemos aquí eso
seria un poco el asunto y esto se introduce porque es como, como pasa normalmente en las
neuronas de verdad, bien, pero que ocurre aquí adentro pues lo que ocurre es el digamos la
dinámica es que se puede simplificar con una función, con una función asi azul, una función de
activación que se llama, esa función puede ser de varios modelos para entenderlo pero hay
uno que se utiliza mucho que es lo que se llama la sigmoide.

La sigmoide es una cosa que casi es cero por aquí y por aquí empieza a crecer pero enseguida
se acerca a uno por tanto si estamos muy a la derecha daría uno y si estamos muy a la
izquierda daría cero. Esto es asi como se comporta esta función y se llama sigmoide, es esta la
única posibilidad, no, hay otras pero para no liar y tal os digo dos cosas una que mientras no
digamos nada vamos a utilizar esta y si lo digo si digo algo pues os dire cual es la función y que
pequeña variación hay que hacer, porque hay que trabajar con esta o con otras bueno,
siempre se podía trabajar con esta y no pasaría nada pero a veces es mas comodo trabajar con
otra y de que depende pues la otra posible es estar aquí hay muchas pero la mas, las mas
famosas son las que esto se que se comporta igual da uno, pero en vez de acercarse a cero si
estamos muy a la izquierda se convierte en un -1, básicamente es el mismo comportamiento
pero solo que varian el rango de valores posibles que puede salir por aquí, si utilizamos esta
quiere decir que por aquí solo puede salir algo entre menos uno y uno y si utilizamos esta pues
quiere decir que aquí sale algún valor entre cero y uno, volveremos a eso en el futuro, como es
esta función F, bueno pues la formula, la forma grafica ya habéis visto y la formula es uno mas
e a la menos x y todo esto elevado a menos uno.
Entonces voy a calcular la derivada en dos segundos porque nos va a hacer falta después, vale
esto es un inciso super rápido, la derivada de esta función es menos uno mas e a la menos x
todos por e a la menos x, y este menos cuando sale fuera cambia estos signo mas, entonces si
ahora ya no se deja ver, voy a poner resultado directamente, os puedo decir que esto de aquí
la gracia que tiene esta función es que se puede expresar a su derivada, su derivada se puede
expresar como una expresión utilizando a ella misma es decir, se puede comprobar fácilmente
que esta función es igual que ella utilizado por uno menos ella, voy hacer un momentito para
que voy a coger esta expresión de aquí y voy a hacer rápido a ver esto es lo mismo que esto,
por lo tanto f al cuadrado será esto de aquí, y que vemos pues esto es exactamente lo mismo
que esto, por lo tanto ya vemos que f prima de x va a ser igual a coger todo esto de aquí y lo
sustituyo por f de x al cuadrado y nos queda esta cosa pero si os fijais si despejamos esto que
nos queda, uno mas e a la menos x es igual a 1 entre f, despejamos e a la menos x y da uno
entre f menos uno, asi que lo sustituimos ahora aquí a f cuadrado, uno partido f menos uno y
si ahora multiplicamos este por este y este por este, este nos da esto, asi que ya nos creemos
que efectivamente esta función cumple esto que nos va a ser muy pero que muy útil y de
hecho por eso se inventaron esta función en aquellos tiempos porque aparte de que se
comporte de una forma muy parecida a como lo hace una neurona real encima tiene esta
propiedades muy buenas.

Muy bien pues ahora borramos y ponemos nuestra función aquí, bueno la función ya sabemos
lo que hace pero voy a poner la derivada aquí bien puesta, y ahora tengo que recordar una
cosa que en teoría no debería recordar pero la recuerdo por si las moscas que es la famosa
regla de la cadena que nos enseñaron cuando eramos pequeños, porque lo hago pues porque
va a ser crucial, asi que merece la pena recordarla, a ver que nos dice la regla de la cadena,
básicamente nos dice que si tenemos una función de algo por ejemplo voy a poner aquí una
caja donde la caja quiere decir no una red neuronal estoy hablando ahora de cualquier
expresión matemática x cuadrado, seno de x, es cualquier cosa que cualquier otra función, si
queremos derivar esto con respecto la variable en la que sea x entonces la regla de la cadena
lo que nos dice es que esto va a ser igual a la derivada normal y corriente sustituyendo la caja
multiplicada por la derivada de la caja.

Por ejemplo si yo tengo que f de x es x al cuadrado y tengo que g de x es seno de x, entonces

esto es lo que yo he llamado la caja, por tanto si yo quiero derivar la función esta, pues será la
derivada de f dos x pero sustituyendo en vez de x la caja por la derivada de la caja a esto me
refiero la derivada sustituyendo la caja en vez de x por la derivada de la caja, en nuestro caso
la caja es el seno de x por lo tanto la derivada de el seno es un coseno, por lo tanto nuestra
derivada es decir, poniéndolo precisamente g sen de x la derivada de esto, dos por la caja seno
de x por la derivada de la caja es coseno de x de acuerdo bien.

Que ocurre ahora si esto esta claro que ocurre ahora con esta función tan que cumple esto
bueno pues entonces podemos ver fácilmente lo siguiente.

Bueno si esta función ahora es esta nuestra función es esta entonces tendremos que la
derivada de lo que sea que este aquí adentro, bueno ahora déjame ponerlo no tiene que ser
un segundito sino aquí lo voy a liar, quiero decir tenemos una caja dentro de f y queremos
derivar todo esto, bueno será pues f prima de la caja por la derivada de la caja hasta aquí no
nada nuevo en el horizonte, pero como nuestra función cada quien asimismo destaco sigmoide
cumple esto pues esto será exactamente igual que f de la caja por uno menos f de la caja por la
caja prima, esto conviene tenerlo muy presente y poner esta caja de color verde, y la razón de
porque la pongo verde se vera después pero bien esto de hecho te lo voy a copiar
directamente.
Porque la quería poner ahí vamos a ver, estoy almacenando todas las cositas para que nos
quede una especie de formulario, vale la cosa será f al dibujar de la caja aquí su derivada será
igual a f prima de lo que va aquí que ahora lo voy a dibujar y ahora si, ahora voy a poner una
caja aquí. Enseguida vamos a ver lo que es la caja y las neuronas fe derivada de la caja por la
derivada de la caja. Dicho esto esta información super super valiosa como veréis, pues ahora
simplemente tengo que decirlos que es como se pesan valores y ya esta entonces la neurona
su salida que le llamaremos atención a la salida de esta neurona a de activación, será la
siguiente cosa será f, la misma f esta f de aquí la f de x esa la que estoy hablando todo el rato la
sigmoide pero aquí dentro que ira, pues no ira ni 𝑧1 , ni 𝑧2 , ni 𝑧3 si no una combinación de esta
gente y de hecho también esto osea vamos a dentro de esta de la función entrar a todos los
inputs para entendernos pero todos los inputs pesados es decir que no será 1 o 𝑧1 , 𝑧2 , 𝑧3 sino
uno por u mas 𝑧1 por 𝜛1 mas tal por tal mas tal por tal, vale el termino pesar o que un numero
o que una suma esta ponderada o pesada significa simplemente que antes de sumar
multiplicamos por un numero que se llaman pesos, entonces una vez dicho esto pues nada
será simplemente uno por u, luego 𝜛1 por 𝑧1 mas 𝜛2 por 𝑧2 mas 𝜛3 por 𝑧3 , vale esto es
digamos la señal lo que esta en rojo es la señal que le llega de otras neuronas y esto es el
umbral propio de la neurona, entonces todo esto la neurona como lo procesa, lo procesa a
través de esta función que es como la dinámica de dime que entra por aquí y te dire que es lo
que sale por alla esta de aquí, perfecto entonces a pesar de que aquí ahora no va a hacer falta
no nos puede ser resultar muy interesante ya que estoy liado con esto calcular digamos la
derivada de esto, osea o que expresión puede tener la derivada lo digo porque asi ya ganare
tiempo de esto lo vamos a utilizar en el próximo video pero es bueno que lo veamos aquí con
este ejemplo tan sencillo, vamos a suponer que insisto que para lo que vamos a hacer no nos
interesa, osea el comportamiento de la neurona ya esta, esto simplemente lo tenemos que
poner ordenado con todas las neuronas y ya tenemos el trabajo hecho al video se podría
acabar aquí, pero dejadme calcular esta derivada que nos va a hacer muchísima falta después,
aunque luego seguramente volveré a hacer el calculo.

Vamos a suponer que nos interesa hacer la derivada parcial de a con respecto de u, claro la
pregunta es ya empezamos con las derivadas parciales porque derivadas parciales, bueno
porque es lo que he dicho en el video anterior, la derivada parcial solamente o simplemente
significa saber como va a cambiar a, si lo único que cambia es u y el resto permanece
constante acordaos que era aquello de las ruedecitas como cambia el error sin exigir o la rueda
para alla o la giro para el otro lado vale es la misma historia.

Entonces con esta regla que acabamos de ver claro la caja que es la caja ahora, la caja es todo
esto, todo lo que esta dentro de f, por lo tanto que nos dice la formula ya esta simplemente
nos dice que lo único que tenemos que hacer es recordar porque esto es una defensa que
estamos hablando a pesar de que esto lo llamaba en realidad también le puede haber llamado
f, pero es conveniente que ahora lo ponga f, eso ya lo ves pero vamos a poner f vamos a mirar
solo esta parte, pues nada, claro aquí ya no puedo poner f prima sino que tengo que
especificar que estoy derivando con respecto de u, pero atención sustituido, digamos osea una
vez echo esta derivada que es otro por la caja, esto es importante, continuamos la expresión
tenemos que sustituirlo por la caja y luego pues como esta formada por la derivada de la caja,
y cual es la derivada de la caja pues en este caso es muy fácil porque la derivada de todo esto
como permanece constante porque estamos derivando parcialmente con respecto de u, lo
cual quiere decir que consideramos momentáneamente como todo lo que no sea de u será
constante por tanto la derivada será cero, por lo tanto sobre querer llevar u con respecto de u
cada uno por tanto en este caso facilon esto da uno y ahora es donde viene es que como la
derivada se puede expresar en función de ella misma pues si lo aplicamos aquí lo único que
tenemos que poner es un copy- paste y poner f de ella misma porque un hueco momentito
uno menos f de ella misma pero sustituido e insisto porque estamos en sustitución de la caja
que aquí dentro hay que poner la caja y esto que acabo de poner aquí hay que sustituir por la
caja y es donde viene lo guay bueno para mi esto es guay pero lo que viene ahora es mas guay
porque que es esto fíjate que es a, a es f de caja, esta claro esto lo puedo poner f de una caja,
por lo tanto yo podría poner perfectamente que f de caja en realidad es una a y uno menos f
de caja es uno menos a, osea que la derivada parcial de a con respecto de u es simplemente
esto lo que valga a por uno menos a, osea asi como todas las neuronas se comportan de forma
similar podemos aplicar esto en plan teorema para entendernos o sea no preocuparnos
cuando a la hora de derivar que con todas sustituir no se que sino utilizar esto, ojo que lo he
hecho con respecto de u, si es con respecto de ϖ es casi casi lo mismo, solo que añade una
cosita lo pongo aquí, la derivada de a con respecto de ϖ, la voy a poner en roja para que
veamos que es los otros objetos por cierto recordemos que la 𝑧1 , 𝑧2 , 𝑧3 siempre van a ser
cosas fijas porque las ruedecitas son con las ϖ o con las u, son lo que vamos a variar lo demás
lo consideramos siempre fijo, osea para nosotros serán constantes por lo que explique en el
capitulo 1.

Pues nos saltamos todos los pasos y voy directamente a ver a todos ojo esto es esto, que es
esto, por lo tanto yo aquí podría poner aparentemente poner lo mismo aparentemente pero
me faltaría la derivada de la caja que ahora no es uno porque, porque la caja es esto antes
estamos derivando con respecto de u que daba uno pero ahora si digamos con respecto a que
no lo he puesto pero por ejemplo si derivo con respecto de 𝜛1 , pues entonces esto se
considera como si fuera constante a la hora de derivar y todo es constante salvo esta 𝜛1 y que
es lo que pasa es que si digamos esto con respecto de 𝜛1 pues da 𝑧1 , asi pues esto será a por
uno menos a por 𝑧1 .
Muy bien lo he borrado por que esto lo haremos en el siguiente video con mas detalle pero no
se creo que era interesante hacer este pequeño inciso porque el como era tan simple el
ejemplo pues se podía ver bien vale pero ahora os voy a prometer ahora mismo que dentro de
nada unos pocos minutos muy pocos tendremos ya preparada la salida de una red. Osea
acordais del primer capitulo cuando yo decía que teníamos una amiga que nos decía que había
entrenado una red neuronal, etc, y que la amiga nos dijo que cuando digamos le llego esto en
plan figurado en plan a un cuento, cuando le llego el perceptron pues estaba digamos sin
entrenar ni nada y que cuando entraba algún valor por aquí pues le daba lo que sea y no tenia
sentido alguno y que luego cuando aplicaba lo del entrenamiento y tal era cuando modificaba
las ruedecitas y modificaban los pesos y aprendia, etc, pues lo que digo es que dentro de unos
minutos ya podeis calcular a partir de la entrada la salida, incluso lo podeis programar ya en
matlab o en el lenguaje que escojais y tenemos ya la primera parte que es el calculo de la
salida para cualquier entrada dados unos pesos los que sean; claro esto no tiene demasiado
valor hasta que no sepamos o pongamos los pesos correctos para que haya aprendido algo
pero eso será en el siguiente video, asi que lo único que tengo que hacer es acabar de poner
un poco las letras de la nomenclatura y tal y ya lo tenemos, asi pues, a estas neuronas de aquí
les vamos a llamar, perdón no a las neuronas si no a las salidas de cada una de estas neuronas
les vamos a llamar a como hemos llamado antes pero pues va a ser 𝑎1 , 𝑎2 , 𝑎3 y 𝑎4 , porque
hay cuatro por tanto esto será en general 𝑎𝑖 donde la i será 1,2,3,4, hasta llegar a n entonces
aquí en este caso como estamos en la capa 2 pues tendríamos n = 2 pero si estuviéramos en la
capa 3 entonces n = 3 en general si estamos en la capa que sea pues aquí pondremos una k y
para especificar en que capa estamos pues pondremos entre paréntesis esta k de aquí, por lo
tanto, por ejemplo esta de aquí, esto estamos en la capa 3 por lo tanto para esta señora
siempre simplemente tendríamos la a de la capa tres capa 1, capa 2, capa 3 y como estamos en
la tercera neurona pues pondríamos un 3 de aquí abajo que representa esta, si hubiera sido
esta pues seria un 2, etc, vale eso seria la nomenclatura de las salidas de cada una de las
neuronas excepto las de las entradas que es aun mas fácil, sigue siendo la misma, pues
estamos en la primera capa, pues será 1,2, y 3 hasta aquí no hay ningún problema pero las
neuronas de input son directamente los valores de entrada, no hay ni f ni cosas raras osea que
lo que entra por aquí sale por aquí sin ninguna f ni sigmoides ni nada, vale esto solo ocurre en
las de entrada y en el resto tal como hemos visto pues que va a pasar pues que las a de
cualquier capa que no sea la 1 pues va a dar, tal como hemos visto la f de algo que algo, bueno
vamos a ver por ejemplo estamos aquí, a quien osea en esta neurona de aquí, si estamos en
esta neurona, que le pasa a esta neurona pues que va a entrar algo por aquí, algo por aquí y
algo por aquí, es decir que esta neurona la a de la capa 2 y con un 1 aquí pues estamos en la
primera de quien va a recibir señales, bueno pongo antes de nada perdóname, no lo he dicho
pero supongo que es fácil de imaginarse que le llamaremos umbral 1 a esta y como estamos en
la capa 2 pues le pondremos aquí también el 2, vale pues tendrá su pequeña entradita del
umbral y luego tendremos estas tres, tres desconexiones o tres sinapsis y por lo tanto vendrán
a ver veamos vamos a ver que va a pasar aquí, podríamos haber va a entrar la señal 𝑥1 , eso
estamos de acuerdo perdón algunos números señal bueno es lo mismo el numero 𝑥1 y va a ir
por esta va a ir pesada por el peso que hay aquí pero que peso hay aquí, pues será ϖ porque
eso es la nomenclatura de los pesos y como estamos con los primeros pesos le pondremos
aquí el 1 y como la conexión va a de 1 a 1 le pondremos 11, luego esta otra y esta se hace de
forma similar y la siguiente vendrá de 𝑥2 y la otra de 𝑥3 , entonces la 𝑥2 que ϖ tendrá pues la
ϖ21 , 2 de entrada a la neurona numero 2 en la entrada y la neurona numero 1 en la salida,
bueno habíamos una salida de la conexión por lo tanto tendremos 21, 31 y aquí el 1 porque
estamos hablando de este 1.

Como se pone esto en general pues bueno es casi ya inmediato, si en vez de hablar de la 1
hubieramos hablado de la 2 o de la 3 o de la 4, osea de alguna general de la a la i y de la capa 2
pues seria f u y en vez de que estamos hablando de la 1 estamos hablando de la i seguimos
hablando de la capa 2 y aquí tenemos lo mismo porque en esta neurona entran gente x para
entendernos por tanto sea 𝑥1 , 𝑥2 , y 𝑥3 eso esta claro y ahora que va a pasar aquí, pues
tenemos que la ϖ aquí habrá un 1 seguro porque estamos hablando de la señal que viene por
1 aquí también habrá un 2 y aquí también habrá un 3, pero donde va a acabar esta conexión
no salga, la que esta por aquí pues va a acabar en la i e igual que antes acababa en la 1, es que
1 no porque bien uno ahora como que aquí hay una i pues acabara en la i, entonces ya para
acabar de generalizar pero ya a lo bestia por cierto me falta el programa 1, este 1, entonces ya
el paso final, final finalizimo es para ver a k > a 1 es decir que no estamos hablando de estos
bichos si no que estamos hablando de este de este o de este como va a ser esto, estamos
hablando de la capa k y aquí tenemos una i, como va a ser la formula, ahora esta claro que va a
ir una u, esta claro que habrá una x, no perdón, pera pera aquí tengo que decir una cosa,
perdón. Es importante, esta cosa de aquí, estas dos esta tres cosas acordéis que os le he dicho
que era digamos lo mismo que esto también se le puede llamar asi entonces es mejor que lo
hagamos de esta manera porque asi va a resultar mas inmediato la generalización, de hecho lo
voy a poner aquí, simplemente lo estoy poniendo para que sea mucho mas fácil de programar
si tenemos ya las expresiones y como sabemos de donde vienen pues si se nos olvida pues
miramos el video otra vez y ya esta, pues hace un rato lo que iba a decir voy a escribir esto
exactamente igual pero poniendo esto con la nomenclatura esta cosa acaba de decir pues
entonces será por esto seguido igual, esta señora será 𝑎1 pero ojo estamos hablando de que
𝑥1 esta aquí por tanto es la capa 1 tal como indica aquí, perfecto, multiplicado por este señor,
a esto lo dejo exactamente igual, esto también exactamente igual siendo la misma misma
pauta.

Y ya lo tenemos esto y aquí esta vamos a borrar vamos a escribir ya, de hecho mejorar eso
también y voy a poner aquí voy a poner esto es solo para bueno k = 1 es bueno este 1 que hay
aquí, correcto y ahora para k > 1 era lo que había puesto antes para k > 1 desde para k = 2, k =
3 y 4, vamos a la expresión, veamos, aquí va a ver exactamente una i y aquí va a ver la capa k a
que será igual, será igual a f estamos de acuerdo y la u vemos que lo que hay aquí es lo mismo
que aquí esto lo he dicho bien, perdóname aquí esto es una i perdóname, porque estamos
hablando de la neurona 1, pues la neurona 1 tiene su umbral, por lo tanto aquí habrá una i y
este numero de aquí es exactamente igual a este osea desde la capa 2, pues si es la capa k para
k, fantástico, ahora bien como esto es la capa 2 entonces fijaos que las ϖ hay un 1 porque
como estamos mirando justo a la izquierda todas estas ϖ tendrán un numero una unidad mas
pequeño que la unidad que es algo que el índice que describe la capa, por lo tanto aquí
tendremos que las ϖ serán k-1, y luego también podemos escribir es que esta ahí pase lo
mismo que esta ahí ya que la parte final va a ser una i igual que esto, perfecto y aquí
evidentemente habrá una a pero claro que a, pues digamos la a anterior aquí porque seria 𝑥1 ,
𝑥2 , 𝑥3 , pero si estuviéramos aquí pues seria la a de antes porque serian digamos los números
que están inyectando señalado aquí por tanto ya se puede fácilmente que va a ser las a de la
capa anterior, perfecto, y que va a pasar pues aquí lo que tenemos que hacer es que si
estuviéramos hablando por ejemplo de esta señora pues va a venir una inyección de señal, por
aquí por aquí y por aquí por aquí de estas no, por tanto va a recorrer digamos las cuatro
posibilidades, asi que aquí tendríamos que poner 1,2,3,4 si estuviéramos mirando las neuronas
de esta capa esto puede ser un giro asi que es mejor que lo hagamos con un sumatorio, si no
va a ser peor remedio que la enfermedad y esto que yo lo único que estoy haciendo es
generando las formulas para no tener que pensar porque la idea ya esta clara de que antes de
que hice de que hiciera esto pero a nivel de programación es muy importante tener clara las
formulas, muy bien y si alguien ya lo tiene claro como programar y esto le esta liando pues que
lo olvide. Os he prometido que va a ser unos minutos de nada se esta alargando un poco pero
ya lo tenemos, a ver vamos a poner aquí un sumatorio, vale aquí tenemos nuestras a y
nuestras ϖ, entonces tal y como hemos dicho antes aquí tenemos la k-1 y aquí las ϖ también
de antes k-1, muy bien, luego como llegamos a la neurona i por eso el destino es i y ahora es
cuando introducimos el nuevo índice es j, y j que es j, j va a ser 1 y va a ser 1,2,3,4, hasta
digamos, hasta donde llegue la capa anterior, los datos si estamos con la capa k la capa
anterior es k-1, por lo tanto que será n en el numero de neuronas pero no de la capa k sino
justo de la anterior y esto es todo amigos esto seria, eso seria la formula y dejadme poner aquí
bien claro los índices, este índice de aquí el i va a ser 1,2,… hasta 𝑛𝑘 bien, la j ya esta claro cual
va a ser eso también, por lo tanto hay que poner esto tampoco era tanto, y una ultima
consideración de 20 segundos, es que cuando estemos en la capa 4, pues la capa 4 tendra pues
𝑎𝑖4 pero eso es directamente como lo hemos llamado como la cosa es directamente y que eso
es lo que nosotros hemos llamado el 𝑦1 y el 𝑦2 al igual que a estas cosas le hemos llamado x
para que quede bonito x la entrada e y la salida para hacerlo como en el colegio, pues tienes
que darte cuenta de eso que a estas cosas también se le llama y, pasa que he puesto lo de las a
para que sea un plan genérico para que la formula me quede mas bonita y mas compacta.
Pues ya esta, yo diría que con esto ya es todo y ya podeis programar esto y bueno al
comprobar que creo que lo haceis bien porque antes de pasar al siguiente el siguiente capitulo
que es digamos el como manejo las ruedecitas de las ϖ y de las u, antes de eso que es el punto
mas delicado teneis que saber que programar esto y que no vaya todo bien y tal yo vamos
aconsejaría que quizá es un caso pequeñito con números que sepáis no se alguno que se lo
monte como sea pero comprobar que esto esta bien claculado, porque estos números lo
vamos a utilizar para el capitulo siguiente, pues nada muchas gracias por atender y creo que ya
esta bien, porque creo que ya he hablado bastante.
Video 4b

Bien pues ahora lo que voy a hacer en vez de calcular explícitamente la derivada como hemos
hecho antes os voy a decir la regla y luego puedes comprobar en casa si quereis que haciendo
lo mismo que he hecho justo en el ejemplo anterior pues da lo mismo pero bueno ya veis que
tiene todo el sentido del mundo estaba pensando si si hacer la deducción entera o no pero me
parece que va a hacer mejor que ponga directamente lo que es para ir rápido y de forma
efectiva y si por lo que sea alguien en los comentarios no acaba de verla o no lo acaba de salir
o necesita ver la demostración pues que me lo pida y con un gustosamente lo hare, muy bien
pero vamos alla, vamos a calcular gráficamente la derivada, las derivadas y esto ni que decir
tiene que es muy muy potente, a ver la primera por ejemplo pues hombre podemos empezar
por la derivada con respecto de esto, entonces si acaso voy a poner ya también la
nomenclatura que vamos a utilizar porque como nos estamos acercando ya al final es mejor
que ponga la nomenclatura que finalmente voy a voy a usar bueno esto no es nuevo esto ya lo
sabemos.

Supongo que preguntareis como es que pongo 1 si solo hay una, si pero como esto lo vamos a
generalizar al caso que puede haber varias pues va bien poner este uno aquí y lo mismo con la
entrada bien vamos alla. Me pregunto cuanto vale la derivada de esto con respecto a esta
variable, vale de hecho por eso vais a entender ahora porque esto se llama back propagation,
yendo hacia atrás de propagación hacia atrás, si nosotros salimos de aquí y queremos llegar
aquí, claro tenemos muchas opciones, por ejemplo podríamos ir por aquí y luego por aquí y
finalmente por aquí tenemos un camino otra posibilidad seria 1, perdón me he equivocado
porque pero me he equivocado y además que va bien que me haya equivocado porque si
siguiéramos por aquí entonces ya no tenemos manera de de ir por esta por este por esta
conexión por lo tanto este camino no nos va a ser no solo tenemos que tener en cuenta para
calcular la derivada con respecto a esta variable por lo tanto seguimos con mas opciones, si
vamos por aquí tenemos dos opciones o bien por aquí, que efectivamente llegamos a donde
tenemos que llegar y si fueramos por aquí nuevamente nos pasaría que no llegamos a donde
queremos llegar, por tanto en realidad hay dos caminos este y este, perfecto entonces por
cada camino habrá una expresión asi que vamos a empezar por el primer camino, voy a poner
aquí alguna señal a ver para que se vea por el camino donde vamos a ir, voy a probar esto a
ver si funciona, bueno `pues la gente funciona no funciona mucho el segundo, ya se voy a
poner este camino, perfecto asiq ue voy a crear un nuevo player, vale que nos encontramos,
nos encontramos esta neurona, pero como pero al ser la ultima es decir al ser una neurona de
verdad, cuando digo de verdad prefiero que se comporta como os dije en el capitulo anterior
dejado por el nuestro mas gordo, las cosas mas grandes es lo que yo he simbolizado como
neuronas de verdad que se comportan como he dicho antes y esta, esta porque de esta
déjame ponerlos un poco mas, a poco mas de neuronas decirlos de una manera porque esta
neurona no se comporta como tal, vale no es simplemente un recordad que esta cosa en
realidad lo único que hace es que la entrada la transforma en ella misma, mientras que aquí la
entrada la transfoma en otra cosa tal como lo hemos descrito, vale para esto ya lo he dicho en
el capitulo anterior, espero que esto este claro entonces volviendo al tema, como aquí nos
encontramos una neurona de verdad para cada neurona de verdad pondremos este factor.
Perfecto, muy bien, luego como por este camino entonces como pasamos por esta conexión
pondremos esta ϖ, vale nuevamente nos volvemos a encontrar esta neurona como es una
neurona de verdad, pues el mismo factor.

Muy bien y seguimos nuestro camino y ahora tenemos esta ϖ de aquí, nos volvemos a
encontrar una neurona de verdad y recordad que esto es importante, muy importante, aquí en
teoría deberíamos apuntar esta según esta regla pero si la ϖ que aparece aquí es justo la que
tenemos aquí entonces no se pone, simplemente no se pone y finalmente llegamos al camino
final pero esto no es una neurona de verdad esto es simplemente un input normal y corriente,
por lo tanto copiamos simplemente esto lo que hay aquí sin este factor, osea que esto seria la
regla, esto seria parte de la derivada de la derivada de la que estamos calculando porque
parte, pues porque claro hemos utilizado este camino pero hay otro posible camino para llegar
aquí, asi pues vale.
Asi lo que voy a hacer es borrar a ver esto, he hecho un mix bueno pero si deja de poner otro
color aquí, aun no controlo bien este programa, vamos a utilizar ahora este camino, por lo
tanto como es otro camino posible, por la red hay perdón, la regla dice que por cada camino
que hay habrá una contribución y las contribuciones hay que sumarlas eso es lo que dice la
regla esto lo tiene que creer, ya digo es que si tengo que deducir esta formula lo que lo puedo
hacer sale perfectamente, pues me llevaría pues no se unos 20 a 25 minutos para deducirlo y
será muy fácil pero muy laborioso, asi que espero que lo creáis en serio que si y si alguien que
lo necesita y le viene la vida pues si lo puedo demostrar, vale pues ahí vamos mue bien.

Vale nos encontramos esta pues volvemos a ponerlo, ahora nos encontramos con esta ϖ,
ahora nos encontramos a esta señora por lo tanto por lo tanto como es una neurona de
(3)
verdad pues 𝑎2 por ser una neurona de verdad ahora nos encontraremos esta ϖ y volvemos
a encontrarnos una neurona de verdad, desde luego cualquiera que me diga neurona de
verdad en el momento un poco los nombre asi un poco a goleo vale, y finalmente volvemos a
la misma lo mismo de antes tenemos que poner esta ϖ pero como estamos terminando con
respecto de esta si aparece aquí no lo ponemos y vamos directamente a este señor y como
igual que antes como esto no es una neurona de verdad es de input, pues ponemos esto.
Pues esto señoras y señores esto es la derivada acabamos de calcular la derivada acabamos de
calcular una derivada haciendo dibujitos, maravilloso, pero me vais a permitir que haga una
cosa, a ver fijaos que aquí empieza con 1, luego aquí hay un 1 todos son 1, aquí no se ve nada,
pero fijaos aquí: 11 21 22 12 osea es un poco raro no hay que decir que para memorizarlo
quizá habría que buscar una manera un poco mas bueno y resulta que hay yo he empezado
haciendo esto, este camino recorriéndolo asi, pero podría haber empezado recorriéndolo asi
también no, asi estaría mas claro pues resulta que estamos claro, entonces permitidme que lo
haga de esta manera, ya se que ahora parece que lo voy a cambiar un poco el planning, pero
en realidad me vais a agradecer porque es mucho mas fácil, lo único que hay que hacer es
expresar esto, perdón expresar esto reordenando los términos a ver todos estos son
multiplicaciones por lo tanto si cambio de orden las multiplicaciones no va a pasar nada vale 2
por 3 es lo mismo que 3 por 2, asi que vamos a reordenar mirando que es lo que nos
encontramos primero pero de izquierda a derecha asi que bueno básicamente es como que
escribirlo al revés, es decir que voy a escribir justo esto al revés, bueno simplemente copio y
pego, bueno pero lo voy a hacer mejor lo voy a hacer del otro porque se va a ver mas claro,
muy bien que vemos aquí empezamos del 11 muy bien hasta la primera capa, saltamos este
(2)
porque aparece aquí muy bien vamos aquí 𝑎1 muy bien que nos encontramos después ϖ
cuando hemos ido por el camino seguro con tanto estamos yendo por aquí para que nos
(2) (3)
encontramos 𝜛12 correcto, después nos encontramos la neurona 𝑎2 , correcto después el
(3) (4) (1)
peso 𝜛21 correcto y finalmente la neurona esta 𝑎1 el 𝑦1 (1 − 𝑦1 ) y que por cierto el 𝑎1 le
voy a llamar 𝑥1 , muy bien, asi que es también muy fácil es es exactamente lo mismo pero
hemos ganado algo si porque si os fijais aquí empezamos con 1 y entonces la ϖ, el primer
numero que empieza es justo lo que tiene aquí y podemos pensarlo como que lo conecta con
la 2 y por tanto aparece 12 y luego vemos que la ϖ que bueno a veces vuelve a tener el mismo
2 como diciendo que estamos hablando con el 2 y nos lo transforma en 1 y volvemos a 1 es
muchísimo mas fácil acordarse asi y lo mismo ocurre con otro por tanto ahora ya llega al punto
final que es generalizar esto reescribirlo bonito y utilizando sumatorio porque insisto que esto
luego hay que programarlo.
Y si no tenemos puestos expresarlo en formas compactas esto puede ser un caos y además
que es mucho mas fácil de recordarse, asi que vamos alla vale va a ser igual a 𝑥1 vale esto es el
(1)
común para los dos caminos por lo tanto 𝜛11 , esto también esta neurona es común para los
dos caminos, ay perdón es que estoy saltándome la regla básica que esta no la puedo poner
(2)
porque aparece aquí, esto aquí con cuidado del santo al cielo, esta es común por lo tanto 𝑎1
(2)
por 1-𝑎1 fantástico y ahora es cuando se disfruta el camino como se bifurca vamos a poner
un sumatorio, vale déjame poner una j y esta j como va a haber dos caminos, de hecho va a
haber tantos caminos como neuronas de aquí pero bueno de momento vamos a poner un 2 y
luego tampoco voy a ser muy bestia ahora en la generalización, vale este es el sumatorio que
indica que hay dos caminos este y este, entonces veamos que ϖ hay aquí la 𝜛11 y la que hay
aquí es 𝜛12 por tanto en general que será pues 𝜛1𝑗 , el 1 de aquí se queda igual y solo cambia
este 1 a 2 por tanto es esta el lugar donde va la j, ponemos el 2 porque estamos en las
conexiones 2 y a donde vamos a parar claro dependiendo si vamos por un camino a otro
iremos a 1 o a 2 eso si de la capa 3 por lo tanto la capa 3 a la a correspondiente pero dada por
la j dependiendo de la j es 1 o 2 y ahora volvemos al camino y nos encontraremos o bien 𝜛11 o
bien 𝜛21 por lo tanto 𝜛𝑗 porque es este índice el que cambia y este permanece igual y esto 3,
y estoy un poco creo que estoy un poco dormido seguramente estais pensando este señor esta
un poco dormido porque estamos pasando por una neurona de verdad y por lo tanto tengo
que poner el factor, perdonadme no se que es y es que estoy un poco dormido seguramente,
hemos pasado esperamos que una neurona de verdad y hay que poner todo este factor,
perdonadme y nada y ponemos la ϖ que será lo que acabamos de decir j1 y el final del camino
es una neurona de verdad pero es común para todos por lo tanto aquí yo podría podríamos
sacar factor común y poner 𝑦1 (1 − 𝑦1 ) porque los otros caminos acaban en el mismo sitio,
fantástico.
Esto ya empieza a tener muy buena pinta porque si os fijais si por ejemplo esta esta capa
tuviera mas neuronas pues en vez de poner un dos aqui pondría 3 o 4 en fin que guay, se
puede ya empezar a ver la generalización, yo creo que ahora podría hacer derivadas con
respecto a esto, buscar caminos pero yo creo que ya se ha pillado un poco bastante bien lo
que es la idea y creo que seria bueno que ya pusiera las reglas en plan digamos compacto del
perceptron que hemos que hemos usado en el capitulo anterior, asi que voy a borrar esto y ya
voy a copiar directamente el perceptron y pongo las formulas asi y con esto ya lo tenemos,
bueno aunque faltara una pequeña cosa pero casi casi ya lo tendremos.