Extracción de perfiles de alumnos de programación en estudios superiores mediante aprendizaje automático en evaluaciones tipo juez en línea

Resumen

Los sistemas de juez en línea (JL) se utilizan en el ámbito de la programación, ya que permiten realizar evaluaciones rápidas y objetivas del código desarrollado por los estudiantes. Este tipo de evaluación suele proporcionar una única decisión sobre si el envío ha cumplido con éxito la tarea. Sin embargo, dado que en un contexto educativo dicha información puede considerarse insuficiente, sería beneficioso tanto para el estudiante como para el instructor recibir información adicional sobre el desarrollo general de la tarea. Este trabajo pretende abordar esta limitación considerando la explotación adicional de la información recopilada por el JL e infiriendo automáticamente la retroalimentación, tanto para el estudiante como para el instructor. Consideramos el uso de esquemas basados en Aprendizaje Automático para modelar el comportamiento del estudiante y de Inteligencia Artificial Explicable para proporcionar una retroalimentación comprensible para el ser humano. La propuesta ha sido evaluada en un caso de estudio considerando más de 2.600 envíos y 90 estudiantes de la asignatura Desafíos de Programación (Ingeniería en Informática, Universidad de Alicante). Los resultados obtenidos validan la propuesta: el modelo es capaz de predecir de forma significativa el resultado del usuario (aprobar o suspender la tarea) basándose únicamente en el patrón de comportamiento inferido por los envíos realizados al JL, además retroalimentar al estudiante y al instructor.