¿Puede GPT4 identificar modelos mentales erróneos?

  1. Gallego-Durán, Francisco J.
  2. Compañ, Patricia
  3. Villagrá-Arnedo, Carlos-José
Revista:
Actas de las Jornadas sobre la Enseñanza Universitaria de la Informática (JENUI)
  1. Cruz Lemus, José Antonio (coord.)
  2. Dapena, Adriana (coord.)
  3. Paramá Gabia, José Ramón (coord.)

ISSN: 2531-0607

Ano de publicación: 2024

Número: 9

Páxinas: 25-33

Tipo: Artigo

DIALNET GOOGLE SCHOLAR lock_openRUA editor

Outras publicacións en: Actas de las Jornadas sobre la Enseñanza Universitaria de la Informática (JENUI)

Resumo

En este trabajo se explora GPT4 para evaluar modelos mentales erróneos en estudiantes de programación en C++, comparándolo con las evaluaciones del profesorado. Pese a los retos para optimizar el consumo de tokens y minimizar costos, se descubrió que GPT4 tendía a identificar más modelos erróneos que el equipo docente. Sin embargo, un análisis más profundo indicó una coincidencia significativa entre GPT4 y las evaluaciones del profesorado en varios casos, sugiriendo su potencial utilidad en este contexto. Durante la investigación se ha detectado que un error específico en el tratamiento de las respuestas llevó a GPT4 a interpretaciones incorrectas debido a imprecisiones en los datos de entrada. Este hallazgo resalta la importancia de la precisión y el detalle en la preparación de los datos para análisis por IA. Al revisar las evaluaciones discrepantes entre GPT4 y el profesorado se concluyó que, en la mitad de ellas aproximadamente, las conclusiones de GPT4 eran más acertadas. Esto muestra que GPT4 puede usarse para enriquecer la comprensión y evaluación de los modelos mentales de los estudiantes por parte del equipo docente. Se concluye que GPT4 puede ser una herramienta valiosa para asistir en la evaluación de modelos mentales erróneos en estudiantes de programación, siempre que se maneje con cuidado el diseño del experimento y la calidad de los datos. Este enfoque permite no solo mejorar la eficiencia en el proceso evaluativo sino también repensar los propios criterios del profesorado, aprovechando la inteligencia artificial para complementar y enriquecer la enseñanza y evaluación

Referencias bibliográficas

  • [1] Daniel Amo-Filva, David Fonseca, David Vernet, Eduard De Torres, Pol Muñoz Pastor, Víctor Caballero, Eduard Fernandez, Marc Alier forment, Francisco José García-Peñalvo, Alicia García- Holgado, Faraón Llorens-Largo, Rafael Molina- Carmona, Miguel Á. Conde, y Ángel Hernández- García. Usos y desusos del modelo gpt-3 entre estudiantes de grados de ingeniería. En Actas de las XXIX Jornadas de Enseñanza Universitaria de Informática, Jenui 2023, pp. 415–418, Granada, julio 2023.
  • [2] Laurent Avila-Chauvet, Diana Mejía, y Christian Oswaldo Acosta Quiroz. Chatgpt as a Support Tool for Online Behavioral Task Programming, enero 2023.
  • [3] Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, y Dario Amodei. Language models are few-shot learners. En Proceedings of the 34th International Conference on Neural Information Processing Systems, NIPS’20, Red Hook, NY, USA, 2020. Curran Associates Inc.
  • [4] Óscar Cánovas Reverte. Explorando el papel de la IA en la educación universitaria de la informática a través de una conversación. En Actas de las XXIX Jornadas de Enseñanza Universitaria de Informática, Jenui 2023, pp. 217–224, Granada, julio 2023.
  • [5] Francisco de Sande y Pablo López Ramos. El impacto de asistentes basados en IA en la enseñanza-aprendizaje de la programación. En Actas de las XXIX Jornadas de Enseñanza Universitaria de Informática, Jenui 2023, pp. 163– 170, Granada, julio 2023.
  • [6] Francisco J. Gallego-Durán, Patricia Compañ- Rosique, Carlos-José Villagrá-Arnedo, Gala M. García Sánchez, y Rosana Satorre Cuerda. Modelos mentales erróneos y persistentes en programación. En Actas de las XXIX Jornadas de Enseñanza Universitaria de Informática, Jenui 2023, pp. 277–286, Granada, julio 2023.
  • [7] Sajed Jalil, Suzzana Rafi, Thomas D. LaToza, Kevin Moran, y Wing Lam. ChatGPT and Software Testing Education: Promises & Perils, abril 2023. En 2023 IEEE international conference on software testing, verification and validation workshops (ICSTW) pp. 4130-4137. IEEE.
  • [8] Rosária Justi y Jan Driel. The use of the interconnected model of teacher professional growth for understanding the development of science teachers’ knowledge on models and modelling. Teaching and Teacher Education, 22:437–450, mayo 2006.
  • [9] Isaac Lera, Gabriel Moyà-Alcover, Carlos Guerrero, y Antoni Jaume-i Capó. Reflexiones y perspectivas del uso de chatgpt en la docencia del grado en ingeniería informática. En Actas de las XXIX Jornadas de Enseñanza Universitaria de Informática, Jenui 2023, pp. 315–322, Granada, julio 2023.
  • [10] Luis Jiménez Linares, Julio Alberto López- Gómez, José Ángel Martín-Baos, Francisco P. Romero, y Jesus Serrano-Guerrero. Chatgpt: reflexiones sobre la irrupción de la inteligencia artificial generativa en la docencia universitaria. En Actas de las XXIX Jornadas de Enseñanza Universitaria de Informática, Jenui 2023, pp. 113– 120, Granada, julio 2023.
  • [11] Roberto Rodríguez-Echeverría, Juan D. Gutiérrez, José M. Conejero, y Álvaro E. Prieto. Impacto de ChatGPT en los métodos de evaluación de un grado de Ingeniería Informática. En Actas de las XXIX Jornadas de Enseñanza Universitaria de Informática, Jenui 2023, pp. 33–40, Granada, julio 2023.
  • [12] Sami Sarsa, Paul Denny, Arto Hellas, y Juho Leinonen. Automatic Generation of Programming Exercises and Code Explanations Using Large Language Models. En Proceedings of the 2022 ACM Conference on International Computing Education Research V.1, pp. 27–43, Lugano and Virtual Event Switzerland, agosto 2022. ACM.
Fonte de datos: Dialnet