Perceptrn Multicapa

Aplicaciones
Perceptrn Multicapa
MLP
Latitud Longitud ... Altitud
Radiacin solar
Aproximacin de funciones
MLP
Estado de un reactor nuclear
Peligro
Calma
Clasificacin
Compresin
MLP
Datos originales
Datos comprimidos
MLP
-1
Datos originales
Para qu se puede usar un perceptrn multicapa?
A New Compression Technique Using an Artificial
Neural Network
Objetivo: presentar un mtodo basado en Redes Neuronales para
compresin de imgenes
Problemtica: transmisin de imgenes como proceso costoso reducir
la cantidad de bits aumentar el volumen de datos transmitidos en un
lapso
Superioridad de las redes neuronales frente a datos incompletos o con
ruido
B. Verma, M. Blumenstein, S. Kulkarni
Griffith University - Australia
Compresin de imgenes por
encoder/decoder
Entrada=salida (autoasociador)
M << N
Compresin de imgenes por
encoder/decoder
Entrada: ventanas de 8x8 de la imagen (blanco y negro). Las
entradas similares fueron eliminadas
Parmetros:
Cantidad de neuronas en la capa oculta: 20
Pares del conjunto de entrenamiento: entre 100 y 400
Velocidad de aprendizaje: 0.2
Momentum: 0.2
Compresin de imgenes con wavelets
Improving Wavelet Image Compression with Neural Networks, Christopher
Burges, Patrice Simard y Henrique Malvar
Transferencia de imgenes comprimidas con wavelets
Wavelet es una transformada, como Taylor o Fourier
seal = a f
1
(x) + b f
2
(x) + c f
3
(x) + ...
Se transmiten los coeficientes (a,b,c) discretizados y codificados
Si se consigue codificarlos con menos bits, la imagen ocupa
menos.
Con un MLP se intenta predecir el siguiente coeficiente a partir de los
anteriores
Se logra que el residuo (lo que se transmite) sea mucho ms chico, y pueda ser
codificado con menos bits
Compresin de imgenes con wavelets
-Predictor
-Una capa oculta (20 unidades) y una unidad de salida, sigmoideas
-Las unidades de entrada corresponden al contexto del coeficiente a
predecir (24 / 42 unidades).
-Valores de velocidad de aprendizaje: 0.1; 0.01
-Se entrena una red por cada subbanda de detalle de resolucin 0 y 1
-Entrenamiento con un conjunto fijo de16 imgenes. Testeo 7 imgenes
-Conjunto de entrenamiento para LH0: 150.000 patrones (con ms
patrones el resultado no mejoraba)
-Medida de error: Error Cuadrtico Medio
Compresin de imgenes con wavelets
Resultados
- Buena calidad de la imagen reconstruida
- Mejora la tasa de compresin para la misma calidad de imagen
- El uso del predictor incorpora un tiempo adicional de
procesamiento
Compresin de imgenes con wavelets
Modelo ms usado: Hidden Markov Model
Un Modelo de Markov es un Autmata Finito, con probabilidades
asignadas a las transiciones
Reconocimiento de voz
En un Hidden Markov Model no podemos saber en qu estado estamos.
A partir de algunos datos tenemos una distribucin de probabilidad sobre
los estados.
S
i
: estado i
a
ij
: transicin entre el estado i y el estado j
q
i
: estado i
P(q
i
|q
j
): probabilidad de pasar del
estado i al estado j
u: emisin
b
i
(u): probabilidad de obtener la
emisin u en el estado i
Reconocimiento de voz
Fonema
Probabilidad de que el fonema j aparezca
despus del fonema i
Sonido
Probabilidad de que el fonema i sea
pronunciado con el sonido u
"An Introduction to HMM/Connectionist Continuous Speech Recognition", Nelson
Morgan and Herv Bourland
Modelos hbridos: Utilizan un MLP para estimar la probabilidad de que un
sonido x corresponda a un fonema i
Entrada: Caractersticas del sonido
Salida: Fonema que representa el sonido
{0,0,...,1,...,0}
Se puede demostrar que entrenando de esta manera se consigue una red cuya
salida es la probabilidad de que la entrada pertenezca a cada una de las clases
{0.2, 0.4, 0.1, ...} = 1.
Nelson Morgan
1988 (Paper original): Precisin 30%
1995: Precisin 70%
9 x 26 entradas
500 4000 unidades en la capa oculta
61 salidas
Reconocimiento de voz
Caractersticas importantes
Actualizacin on-line
Cross validation para mejorar la generalizacin y evitar el sobreentrenamiento
Conjunto de 10%-20% de los patrones de entrenamiento para validacin
Despus de cada poca se calcula el error en ese conjunto.
Si el error no mejor en ese conjunto, se reduce la velocidad de aprendizaje
Es muy importante la representacin de la entrada
Caractersticas dinmicas (que dependen de la secuencia de frames)
Ms de un frame por vez (informacin de contexto)
Funcin de energa: entropa o Kullback-Leibler

i
i
i
i
O
E ln
Reconocimiento de voz
Calibracin de cmara de video
A partir de una imagen de video, un robot tiene que deducir la distancia y la
orientacin respecto de un objeto
Caractersticas:
No paramtrico
No requiere estimacin de parmetros (distorsin de la lente, distancia
focal, etc)
Mtodo aproximado
La precisin aumenta con el tamao del conjunto de entrenamiento
A Non-parametric Method for Video Camera Calibration Using a Neural Network",
Enrique Segura
Calibracin de cmara de video
f(x,y) = (d,,h)
x,y coordenadas de la cmara (CCD)
d, distancia y ngulo al objeto
h tamao del objeto
Se utiliza un MLP para aproximar la funcin f.
Una capa oculta, unidades sigmoideas, aprendizaje con el algoritmo SAGA
(simulated annealing + gradient descent + adaptative growing)