FACULTAD DE INGENIERA Vicedecanatura Acadmica POSGRADOS PRESENTACIN PROPUESTA TESIS DE DOCTORADO: TRABAJO FINAL DE MAESTRA: TESIS DE MAESTRA: TRABAJO

FINAL DE ESPECIALIZACIN

1. PROPONENTE: Carlos Andrs Torres Rodrguez CDULA: 80.544.723 2. PROGRAMA: Maestra en Ingeniera de Sistemas y Computacin 3. DIRECTOR PROPUESTO: Luis Fernando Nio Vasquez DEPARTAMENTO: Departamento de Sistemas e Industrial ASESORES: ______________________________________________________________ 4. TTULO: Identificacin Estructural Automtica de Fragmentos Musicales 5. REA: Recuperacin de informacin Musical LNEA DE INVESTIGACIN: Inteligencia Artificial 6. ANTECEDENTES Y JUSTIFICACIN: ANTECEDENTES Gracias al importante acercamiento de la ingeniera como apoyo al proceso de aprendizaje dentro del rea musical y debido a la carencia de productos en el mercado (Donde a diferencia del apoyo a la pedagoga se encuentran numerosas aplicaciones para produccin, anlisis, composicin y ejecucin autnoma de instrumentos), resulta de gran inters profundizar en el desarrollo de nuevas lneas de aplicacin del conocimiento en este espacio. Entre los aos 2000 y 2010 se realiz el desarrollo y puesta en marcha de "Armona al Teclado", un producto con varias fases que cubrieron el anlisis e implementacin de una herramienta prototipo para la automatizacin del proceso de prcticas estudiantiles, el desarrollo de un portal de contenidos y prcticas en lnea, la experimentacin y anlisis de datos con estudiantes del conservatorio de la Universidad Nacional de Colombia y finalmente la puesta en produccin y apertura al pblico en general de la plataforma. En estas etapas se recorri un camino importante en la comprensin desde el punto de vista pedaggico, musical e ingeniera del uso de herramientas automatizadas para el apoyo y asistencia del proceso de aprendizaje en las diferentes reas musicales.

Pgina 1 de 11

INTRODUCCIN En un aparte de la formacin bsica del msico, es necesario que el individuo realice anlisis de forma sobre fragmentos musicales como parte de su preparacin para la composicin, dicho anlisis se puede realizar desde mltiples perspectivas haciendo compleja una evaluacin exacta del ejercicio; anterior a esta tarea es necesario iniciar entrenamientos mas simples entre los que encontramos anlisis sobre motivos, secuencias de acordes y funciones tonales y patrones rtmicos los cuales se realizan repetitivamente hasta alcanzar cierta experiencia. Estos ejercicios progresivos y secuenciales son asistidos en su desarrollo, evaluacin y correccin (recomendacin) por un profesor experto en el rea. Entre las ventajas significativas obtenidas en el apoyo a la pedagoga musical encontramos la delegacin hacia un sistema automtico de las "tediosas y repetitivas" labores del docente en el refinamiento del lenguaje musical y la identificacin y recomendacin de soluciones a errores tpicos en la prctica estudiantil, llevando as su labor de docente a un seguimiento ms general y completo de la evolucin de sus estudiantes. Por otro lado, los estudiantes demuestran mas confianza y menos tensin en sus prcticas al no depender de una reaccin humana frente a sus errores que adems estn siendo registrados y evaluados [1]. Para una correcta aproximacin a la solucin de este problema es necesario representar los elementos de una composicin y plantear un sistema de recomendacin automtico que asista al estudiante en sus prcticas peridicas, con este objetivo se propone dividir el problema en 4 acercamientos secuenciales a la solucin total: Representacin y exploracin de las caractersticas de los elementos musicales, identificacin estructural Automtica de fragmentos musicales utilizando las caractersticas exploradas, identificacin de la estructura formal de una composicin completa, para as finalizar con la asistencia y recomendacin para prcticas de anlisis estructural musical. MARCO TERICO El anlisis de la morfologa musical tiene su inicio y fundamento en la organizacin de elementos musicales tales como la meloda, la frase, el periodo y las partes, quienes conforman (de lo simple a lo compuesto) una composicin musical tonal, observada desde este punto de vista como un universo de los elementos en cuestin. Las unidades meldicas son el sustento de la expresin musical, conocidas como motivos, para que el discurso musical tenga un sentido mas contundente se hace uso de la variacin motvica como herramienta de construccin de frases coherentes. Estas variaciones o transformaciones pueden ser de tipo repeticin, adaptacin armnica (por enlace, por transporte, por cambio de nivel), progresin, espejo, curva meldica, expansin y compresin rtmica, etc. Dichas variaciones son aplicadas al motivo inicial e integradas en secuencia (con otros motivos contrastantes) para generar una frase completa como se muestra en la Fig. 1.
2

Fig. 1. Ejemplo de integracin de motivos y variaciones para formar una idea completa. En la imagen se presenta m1, m2 y m3 como motivos iniciales que se desarrollan a partir de una misma clula y forman la frase s1; s2 es la repeticin de s1 transportada hacia abajo y con una variacin en el motivo 3. finalmente la frase s3 es una nueva y contrastante idea.

Los motivos se varan, distribuyen y relacionan para formar partes mayores conocidas como frases quienes dan un sentido mas concreto del lenguaje al fragmento. Las frases a su vez se agrupan secuencialmente para definir periodos, quienes finalmente integran elementos mayores llamados partes.

7. IDENTIFICACIN DEL PROBLEMA: PREGUNTA DE INVESTIGACIN Es posible identificar de manera automtica y precisa la estructura de un fragmento musical?

HIPOTESIS Dado un fragmento musical, es posible identificar su estructura utilizando anlisis y clasificacin de patrones de similitud de mltiples caractersticas observadas. Para obtener resultados mas precisos en la segmentacin podemos utilizar una mayor cantidad de caractersticas y una seleccin de relaciones apropiada; Adicionalmente las caractersticas deben ser extradas a diferentes niveles de observacin de los datos en anlisis, partiendo de la exploracin de datos micro (meldica local y relaciones entre elementos simples) hasta llegar al espacio macro (comparacin contra elementos superiores ms complejos).

8. OBJETIVOS GENERALES Y OBJETIVOS ESPECFICOS OBJETIVOS GENERALES Identificar automtica de la estructura de fragmentos musical. OBJETIVOS ESPECFICOS Proponer una representacin computacional de las caractersticas para los diferentes elementos musicales. Fundamentar un banco de descriptores extrados de los elementos musicales. Analizar y validar caractersticas propias de los elementos musicales y caractersticas abstradas de las relaciones entre ellos a partir de la experimentacin. Disear una metodologa para la seleccin y uso de caractersticas musicales que aporten a la identificacin estructural de un fragmento musical. Desarrollar un algoritmo de identificacin estructural de fragmentos musicales utilizando las caractersticas de sus elementos. 9. METODOLOGA: Dado el importante papel que han tenido los mtodos geomtricos en los ltimos aos para la solucin de problemas de clasificacin y bsqueda de patrones se propone el uso de mtodos de kernel para determinar relaciones entre los componentes del discurso musical y el desarrollo de medidas de similitud utilizando las caractersticas exploradas y otras caractersticas adicionales generadas de la relacin entre elementos. La representacin de caractersticas se sustenta en el anlisis propuesto por los textos de educacin en morfologa musical[2] y la exploracin se apoya en la efectividad y flexibilidad del anlisis de patrones utilizando mtodos de kernel. se proponen las etapas tpicas de una metodologa iterativa como se muestra en la Fig. 2. donde se inicia con una revisin general sobre el problema del anlisis estructural desde el punto de vista musical y buscando abstraer los procedimientos aplicados por un experto para resolverlo; en seguida se realiza el diseo y la implementacin del prototipo que se expondr a pruebas comparativas contra soluciones realizadas por msicos expertos; la etapa de evaluacin permite comprender las diferencias de la solucin automtica con la solucin esperada para ajustar (si es necesario) el modelo en una nueva iteracin de desarrollo.

Fig. 2. Diagrama general de la metodologa propuesta

4

10. ACTIVIDADES A DESARROLLAR: En las Fig. 3 y 4 se enuncian las actividades a desarrollar para cada etapa de la metodologa general. Es importante aclarar que en la bibliografa se han encontrado desarrollos en anlisis musical desde el punto de vista fsico abordando temas de procesamiento de seales de audio; en el presente caso se propone inclinar el desarrollo hacia la representacin simblica musical en partituras digitales y archivos MIDI atacando el problema en un sentido netamente estructural.

Fig. 3. Diagrama detallado de la etapa de anlisis En las reas de la Biologa [3], Procesamiento de texto [4] y Visin por Computador [5] se tienen referentes del aprovechamiento de las tcnicas propuestas por el Aprendizaje de Mquina para la solucin de problemas similares; en conclusin, es necesario fundamentar una buena representacin de caractersticas de los elementos musicales y definir su contribucin al anlisis automtico en una etapa de exploracin. Haciendo uso de las posibilidades ofrecidas por los mtodos de kernel [6], se propone extraer caractersticas representativas de los diferentes elementos musicales a comparar y de las relaciones subyacentes para realizar un anlisis de similitud en un dominio superior y a mltiples perspectivas de observacin (de lo micro a lo macro), mejorando as la comparacin clsica punto a punto [7] y teniendo
5

en cuenta semejanzas en diferentes variables independientes abstradas de los mismos elementos musicales y del concepto terico.

Fig. 4. Diagrama detallado de las etapas de Diseo, Implementacin, Pruebas y Evaluacin Adicionalmente, se propone aplicar mtodos de clasificacin sobe varios espacios de caractersticas definidos a modo de exploracin para identificar clases relacionadas a los diferentes tipo de variacin y a los diferentes espacios de relacin entre pares contra las caractersticas escogidas.

11. CRONOGRAMA:

Actividad Revisin de literatura musical Identificacin de elementos musicales Identificacin de caractersticas Definicin de medidas de similitud Revisin de tcnicas de kernel Pairwise kernels [8] Basados en similaridad Fisher kernel [9][10] Kernels de secuencia Gappy Wildcard Substring [11] Mismatch [12] Substitution [13] Kernel estructural [14] Kernel de no-secuencia Anlisis de relaciones entre caractersticas Definicin de medidas de similitud Seleccin de caractersticas relevantes Revisin de aplicaciones similares Biologa [15] DNA [16] RNA Protenas [17] Computer vision Bag of features Procesamiento de texto

Mes 1 2 3 4 5 6 7 8 9 10 11 12

Anlisis

Pgina 7 de 11

Seleccin de espacios vectoriales Diseo Seleccin de medidas de similitud Diseo de la metodologa Desarrollo del algoritmo Datos Primarios Localizacin Procesamiento Construccin set de datos Seleccin de datos de prueba Pruebas Clasificacin manual de datos de prueba Patrones Procesamiento Clasificacin Anlisis de relaciones Comparacin contra clasificacin manual Evaluacin Anlisis de resultados Ajustes al algoritmo Documentacin del proyecto

12. BIBLIOGRAFA BSICA:

[1]

L. Horacio, T. Carlos, "Construccin de un Ambiente Interactivo para Asistencia en Lnea al Aprendizaje de la Armona Musical", Experiencias Significativas en Innovacin Pedaggica, Eds. Germn Hernndez y Freddy Abel Vargas Cardozo, Universidad Nacional de Colombia, http://dis.unal.edu.co/~hernandg/esip/esip.pdf. M. G. Douglass, "Form in Tonal Music", Second Edition, Chapter 3 - Melodic structure of the phrase, Harcourt Brace Jovanovich College Publishers, 1993. Bernhard Schlkopf, Koji Tsuda, Jean-Philippe Vert. "Kernel methods in computational biology". Yamanishi et.al, 2004. Huma, Lodhi., Craig Saunders, John Shawe-Taylor, Nello Cristianini, and Chris Watkins. 2002. "Text Classification using String Kernels". Journal of Machine Learning Research 2: 419-444. H. Jegou, M. Douze, C. Schmid, "Improving Bag-of-Features for large scale image search", International Journal of Computer Vision, Volume 87, Number 3, 316-336. B. Asa, S. N. William, "Kernel Methods for Predicting Protein-Protein Interaction", Department of Genome Sciences - Department of Computer Science an Engineering, University of Washington, Seattle, WA, USA, 2005. R. Pierre-Yves, G. Jean-Gabriel, "Music Pattern Extraction and Similarity Assessment", Readings in Music and Artificial Intelligence, Volume 11, Eduardo Reck Miranda, Routledge Publisher, New York, USA, 2000. Liao, Li, and William Stafford Noble. 2003. "Combining pairwise sequence similarity and support vector machines for detecting remote protein evolutionary and structural relationships". Journal of computational biology : a journal of computational molecular cell biology 10 (6) (January): 857-68. doi:10.1089/106652703322756113. http://www.ncbi.nlm.nih.gov/pubmed/14980014. Jaakkola, T, M Diekhans, and D Haussler. 2000. "A discriminative framework for detecting remote protein homologies". Journal of computational biology : a journal of computational molecular cell biology 7 (1-2): 95-114. http://www.ncbi.nlm.nih.gov/pubmed/10890390. Tsuda, Koji, Taishin Kin, and Kiyoshi Asai. 2002. "Marginalized kernels for biological sequences". Bioinformatics (Oxford, England) 18 Suppl 1 (January): S268-75. http://www.ncbi.nlm.nih.gov/pubmed/12169556. Leslie, Christina, Eleazar Eskin, and William Stafford Noble. 2002. "The spectrum kernel: a string kernel for SVM protein classification". Pacific Symposium on Biocomputing. Pacific Symposium on Biocomputing 575 (January): 564-75. http://www.ncbi.nlm.nih.gov/pubmed/11928508. Leslie, Christina, Jason Weston, and William Stafford Noble. "Mismatch String Kernels for SVM Protein Classification".
Pgina 9 de 11

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

Leslie, Christina. 2004. "Fast String Kernels using Inexact Matching for Protein Sequences". Journal of Machine Learning Research 5: 1435-1455. Haussler, David. 1999. "Convolution Kernels on Discrete Structures". Lodhi, H.M., and S.H. Muggleton. 2009. "Elements of computational systems biology". Ed. Huma M. Lodhi and Stephen H. Muggleton. First. Vol. 8. London: John Wiley & Sons Inc. http://bit.ly/vwinpM Ben-Hur, a. 2003. "Remote homology detection: a motif based approach". Bioinformatics 19 (90001) (July 3): 26i-33. doi:10.1093/bioinformatics/btg1002. http://www.bioinformatics.oupjournals.org/cgi/doi/10.1093/bioinformatics/btg1002. Ben-Hur, Asa, and William Stafford Noble. 2005. "Kernel methods for predicting protein-protein interactions". Bioinformatics (Oxford, England) 21 Suppl 1 (June): i38-46. doi:10.1093/bioinformatics/bti1016. http://www.ncbi.nlm.nih.gov/pubmed/15961482.

[14] [15]

[16]

[17]

13. RECURSOS FSICOS: Para desarrollar este trabajo se requiere un equipo computacional que cumpla con las siguientes caractersticas: Procesador de 4 ncleos o ms Memoria RAM 4 Gb o ms Almacenamiento de 1Tb Soporte para conexin MIDI Conexin a Internet

Hardware Adicional: Controlador MIDI

El software necesario es: Sistema Operativo Linux o Windows 7 Lenguaje de programacin Java Procesador de texto Hoja de clculo Diseo de presentaciones Acceso, manipulacin y visualizacin de datos Procesador de partituras digitales

10

14. COSTOS DEL TRABAJO Y FUENTES DE FINANCIACIN: Rubros Investigador Director de proyecto Equipos Recursos bibliogrficos Viticos Imprevistos (4%) Estudiante x x x x Subtotal x TOTAL Universidad x Valor 48'400.000 7'200.000 5'000.000 1'000.000 1'000.000 62'600.000 2'504.000 65'104.000

15. COMENTARIO CON VISTO BUENO DEL DIRECTOR: (calificar los siguientes aspectos: organizacin, pertinencia, relevancia y originalidad).

16. FIRMA DEL PROPONENTE

_____________________________ Carlos Andrs Torres Rodrguez 17. FIRMA DEL DIRECTOR

_____________________________ Luis Fernando Nio Vasquez 18. FECHA 28 de octubre de 2011

11