A Discourse-Aware Macroplanning Approach for Text Generation and Beyond

Abstract

El trabajo presentado en esta tesis se ha desarrollado dentro del área de generación de lenguaje natural (GLN), disciplina dedicada a investigar e implementar aplicaciones capaces de producir textos coherentes y comprensibles. Al estudiar el contexto de la disciplina, detectamos una carencia de enfoques que, sin requerir excesivos recursos, incorporasen mecanismos apropiados tanto para aprehender mejor el significado de la entrada, como para proporcionar un resultado más consistente y coherente, cuando la entrada del proceso es un texto conformado como discurso. Nuestra investigación se planteó como una propuesta orientada a subsanar este déficit, de modo que la idea de contribuir a la creación de sistemas de generación más adaptables ha constituido el motor del presente trabajo que, estando profundamente arraigado en el ámbito de la GLN, pretende también beneficiar a otras tareas más orientadas a la comprensión del lenguaje. Dado que el campo de GLN es extremadamente amplio, decidimos abordar un aspecto específico del proceso de generación. Nos centramos principalmente en una parte del proceso responsable de seleccionar y organizar el contenido que debe aparecer en la salida del sistema. Esta fase se conoce generalmente como macroplanificación. El núcleo de esta investigación se basa en la idea de que el proceso de generación debe estar estrechamente ligado, condicionado por el significado que emerge del texto como discurso. Así pues nuestro objetivo principal se centró en la definición de una metodología para la etapa de macroplanificación que, en primer lugar, aprovechara la información semántica y estructural del texto concebido como discurso y, en segundo lugar, permitiera su adaptación a múltiples escenarios (aplicaciones, dominios) sin un requisito elevado de recursos. Siguiendo este planteamiento, la hipótesis inicial de esta investigación establece que la explotación de la información semántica, también determinada por la estructura del discurso, tomada como base para diseñar una metodología de macroplanificación basada en datos (esto es, aprovechando las técnicas estadísticas), puede conducir a sistemas más flexibles, adaptables, equipados adecuadamente para proporcionar textos más coherentes y significativos. Nos alineamos en este sentido con una corriente de investigación que defiende que la incorporación del conocimiento estructural que procede del discurso deviene en una representación del discurso más completa y efectiva. Para lograr nuestro propósito, estudiamos y aplicamos una metodología basada en un tipo de modelos de lenguaje designados como modelos de lenguaje posicionales, capaces de capturar tanto información relevante como posicional. Mediante una serie de experimentos, analizamos su comportamiento y estudiamos cómo variaciones en su configuración nos permitían ejercer cierto control sobre la complejidad estructural de los resultados. Adaptamos la metodología a diferentes dominios y tareas dentro del campo de la GLN: generación de cuentos, creación de resúmenes extractivos y producción de titulares de noticias desde un enfoque abstractivo, con resultados positivos considerando tanto evaluaciones intrínsecas como extrínsecas, humanas y automáticas. Más aún, alejándonos del ámbito de la GLN, en línea con nuestros objetivos iniciales, quisimos comprobar que nuestro enfoque puede contribuir también a otras tareas del ámbito del procesamiento de lenguaje natural. Para ello, adaptamos nuestra metodología a un sistema destinado a detectar y clasificar titulares engañosos, con resultados que demuestran la conveniencia de emplear los principios establecidos a lo largo de la tesis para la resolución de la tarea de detección de postura o posicionamiento. Las posibilidades de aplicación de nuestro planteamiento son muy diversas y entrañan diferentes niveles de complejidad. Y si bien en el transcurso de nuestra investigación hemos detectado un número de limitaciones, también hemos identificado potenciales desarrollos. Ambos aspectos constituyen el núcleo de esta tesis y conforman la semilla de nuestros planes futuros, pues señalan nuevas fronteras para nuestro trabajo incluyendo, entre otras, la aplicación del enfoque presentado a diferentes lenguajes, la profundización en la dimensión pragmática del discurso y su incorporación, la hibridación de los modelos de lenguaje empleados con técnicas basadas en aprendizaje profundo o la incorporación de la metodología a otras tareas de comprensión del lenguaje, como la inferencia, la implicación textual o la búsqueda de respuestas.