Towards interactive multimodal music transcription

Resum

La transcripción de música por computador es de vital importancia en tareas del campo de la Extracción y recuperación de información musical por su utilidad como proceso para la obtención de una abstracción simbólica que codifica el contenido musical de un fichero de audio. En esta disertación se estudia este problema desde una perspectiva diferente a la típicamente considerada para estos problemas, la perspectiva interactiva y multimodal. En este paradigma el usuario cobra especial importancia puesto que es parte activa en la resolución del problema (interactividad); por otro lado, la multimodalidad implica que diferentes fuentes de información extraídas de la misma señal se aúnan para ayudar a una mejor resolución de la tarea. Las conclusiones más relevantes del trabajo llevado a cabo son: - Que las metodologías interactivas hombre-máquina para la anotación de datos en señales disminuyen significativamente la carga de trabajo de un usuario en comparación con la carga de trabajo que llevaría a cabo anotando todo a mano. Esto se ha demostrado concretamente para el caso de la anotación de los inicios de eventos musicales en señales de audio (anotación de onsets). - Que la información de onsets ofrece una descripción complementaria de la señal que, junto con la estimación de frecuencias fundamentales, son capaces de obtener buenos resultados en transcripción. - Que es posible cuantificar el esfuerzo llevado a cabo en la anotación de onsets en señales de audio mediante una serie de métricas de esfuerzo propuestas en esta disertación. - En tareas de clasificación y reconocimiento de patrones, las distribuciones de datos no balanceadas normalmente afectan negativamente a la bondad del sistema. Es por ello que se ha realizado un estudio cuantitativo para analizar las pérdidas que se ocasionan en este tipo de situaciones y cómo los algoritmos de equilibrado de datos son más o menos efectivos en estos contextos.