Contribuciones a los sistemas de diálogo multimodales

Résumé

El objetivo principal de la Tesis es realizar contribuciones a la comunidad científica en las diferentes áreas de investigación principales que constituyen los sistemas de diálogo multimodales, Las contribuciones, además, se enmarcan dentro del desarrollo de un sistema de diálogo multimodal real y funcional, que facilita el control del hogar a usuarios discapacitados: MIMUS. Las aportaciones derivadas de esta Tesis, por tanto, se agrupan siguiendo los puntos de interés clásicos de los sistemas de diálogos multimodales: ¿ Experimentos tipo Mago de Oz: Como parte de la Tesis se definen los requisitos que ha de verificar una plataforma de experimentos de este tipo para sistemas de diálogo multimodales que busca maximizar su reusabilidad. Se presenta en la memoria una descripción de la plataforma implementada siguiendo estos requisitos y un resumen de experimentos llevados a cabo sobre dicha plataforma. ¿ Gestión de Diálogo: Para integrar un motor de gestión de diálogo multimodal en MIMUS se partió de un motor de gestión de diálogo unimodal: Delfos. En esta memoria se describen los requisitos derivados de ampliar el sistema a un entorno multimodal así como las propuestas implementadas para responder a dichos requisitos. ¿ Gestión de Conocimiento: El sistema MIMUS incluye un componente específico para la gestión de conocimiento que integra el núcleo de gestión de diálogo con las ontologías del dominio. Durante la Tesis fue necesario realizar una aproximación que permitiera dotar al sistema de máxima expresividad (consultas complejas) manteniendo un máximo de portabilidad (interfaz independiente del dominio). Además, como parte de la Tesis se ha realizado una propuesta para extracción de conocimiento lingüístico a partir de ontologías. ¿ Fusión Multimodal: La fusión multimodal estudia la capacidad de un sistema para tratar entradas simultáneas y relacionadas. En esta Tesis se han propuesto e implementado dos estrategias de fusión diferentes: una a nivel sintáctico-semántico y otra a nivel de diálogo. ¿ Presentación Multimodal: Durante la Tesis se ha diseñado una arquitectura de presentación multimodal basada en la sobregeneración y reordenación, utilizando diferentes modelos que permiten obtener una métrica de comparación entre presentaciones alternativas. Asimismo, durante la Tesis se ha diseñado e implementado un módulo de generación de lenguaje natural para las modalidades de voz y texto que reutiliza componentes típicos de la traducción automática.