The influence of semantic roles in QAa comparative analysis

Resumen

Los conjuntos de preguntas utilizados normalmente para evaluar los sistemas de búsqueda de respuestas (BR) están principalmente constituidos por preguntas cuyas respuestas son entidades nombradas (NE), por tanto, la mayoría de estos sistemas usan reconocedores de entidades para extraer las posibles respuestas. Últimamente, el etiquetado de roles semánticos y su contribución a la BR es un tema de especial interés. Sin embargo, los sistemas basados en NEs siempre funcionarán mejor que los basados en roles a la hora de extraer respuestas para preguntas cuya respuesta sea una NE. El objetivo de este artículo es evaluar ambos métodos para preguntas de lugar bajo las mismas condiciones, usando, no sólo preguntas basadas en nombres propios sino también basadas en nombres comunes. Para ello se presentan tres propuestas diferentes de un módulo de extracción de respuestas embebidas en un sistema de BR: una basada en entidades nombradas y dos basadas en roles semánticos. Los resultados obtenidos indican que mientras la propuesta de NE contesta mejor las preguntas basadas en nombres propios (+49,57% MRR), las propuestas de roles obtienen los mejores resultados en las preguntas basadas en nombres comunes (+223,48% MRR) siendo sus resultados de una precisión más alta para ambos tipos de preguntas.