Preguntar para aprender

El mes pasado la Universidad de Málaga organizó la Jornada Inteligencia artificial generativa y docencia. ¿Qué vas a hacer? en la que impartí la charla El Rey va desnudo. Replanteando los trabajos académicos en la universidad. En ella argumentaba que al igual que el niño de la fábula, ahora la IA generativa estaba señalando las deficiencias del sistema educativo, en general y de la evaluación en particular. Pero estas deficiencias no son nuevas ni causadas por esta nueva tecnología.

El problema del sistema educativo es que se mueve muy lentamente y le está costando adecuarse y dar respuesta a los nuevos retos planteados por la sociedad.

El rey va desnudo

En la fábula de Hans Christian Andersen El traje nuevo del emperador, un rey vanidoso es engañado por dos estafadores que se hacen pasar por sastres y le prometen un traje con una tela muy especial y delicada. Tan especial que parecía invisible y solo las personas inteligentes podían verla. Para no parecer tontos, todos fingen ver el fabuloso traje, menos un inocente niño que señala que el rey va desnudo.

La nueva realidad digital y las herramientas de IA generativa, como antes los buscadores, están poniendo en evidencia la debilidad del sistema de evaluación del aprendizaje de nuestros estudiantes.

La debilidad de la evaluación por exámenes finales ya se hizo patente durante la pandemia en la que más o menos salvamos las clases a través de sistemas de videoconferencia, pero al acercarse el mes de junio y tener que abordar la evaluación, el fracaso fue estrepitoso y público. Hace unos meses ha vuelto a ocurrir algo parecido con la irrupción de ChatGPT y la alarma por la realización por parte de los estudiantes de las tareas académicas y de evaluación con estas nuevas herramientas basadas en inteligencia artificial, planteándose en algunos casos prohibir su uso (ver aquí el caso de Australia).

El elefante en la habitación

En inglés se utiliza la expresión elephant in the room para hacer referencia a un problema o riesgo obvio que nadie quiere discutir, y por tanto es ignorado. Es una metáfora muy visual, que trasmite la idea de que, aunque sería imposible pasar por alto la presencia de un elefante en una habitación, fingimos que no lo vemos para evitar lidiar con el enorme problema que implica.

Aunque estemos hablando de tecnologías nuevas, los problemas son los de siempre.

Es habitual que al querer incorporar las tecnologías digitales se argumente en su contra con inconvenientes que ya tenía el procedimiento analógico y que no son causados por su digitalización. En todo caso, la digitalización lo amplifica y lo hace más visible. Pero en realidad, lo que se está poniendo de manifiesto es la necesidad de un rediseño de procesos para adecuarlos a la nueva situación, y aprovechar el potencial de la digitalización.

La redacción de la pregunta condiciona la respuesta

Pero volvamos al tema del post, la trascendencia de las preguntas. En mis primeros años como profesor daba clases de matemáticas en la antigua E.G.B. Y de la observación, deduje una ley de Murphy: los estudiantes cogían los números que aparecían en el enunciado del problema y los combinaban con la operación matemática del tema al que pertenecía el ejercicio, sin reflexionar detenidamente en ello. Y el problema venía cuando en la evaluación final descontextualizabas el ejercicio: podía pertenecer a cualquier tema y podían combinarse distintas operaciones.

Tan importante como encontrar la respuesta correcta es hacer la pregunta adecuada.

Quise comprobar si mi intuición tenía sentido e hice algunos experimentos. En algunos ejercicios puse algunos datos en letra (por ejemplo “cinco” en lugar de 5) y estos datos eran ignorados en bastantes casos. Por otro lado, añadí datos irrelevantes para el problema, pero escritos en cifras, y esos datos eran utilizados en bastantes ocasiones, aunque no debían ser tenidos en cuenta para la solución. Es decir, como me temía, había estudiantes que introducían todos los datos que aparecían en cifras en la coctelera y la agitaban con la operación matemática que acababa de explicarles. No es un trabajo científico y por tanto los resultados son lo que son, pero apoyaron en cierto sentido mi sospecha. Pero esto no solo lo hacemos los humanos.

Respondiendo exámenes usando IA generativa

A principios del mes de julio estuve en Granada, en las Jornadas de Enseñanza Universitaria de la Informática (JENUI). Este año el tema estrella fue, ¡cómo no!, chatGPT y su impacto en la enseñanza de informática. Un corolario de uno de los trabajos, no la parte principal de la investigación, atrajo mi atención y me hizo reflexionar y acordarme de lo que acabo de contar.

Roberto Rodríguez presentó la ponencia Impacto de ChatGPT en los métodos de evaluación de un grado de Ingeniería Informática. En este trabajo, que había realizado con otros compañeros de la Universidad de Extremadura, le propusieron a chatGPT que resolviera los exámenes de 15 asignaturas de Ingeniería del Software del grado de Ingeniería Informática, con el fin de analizar su posible impacto en los métodos de evaluación. Y con estos resultados plantean una serie de recomendaciones acerca del diseño de las preguntas para que se pueda valorar su inclusión o no en un determinado examen. Aunque recomiendo su lectura, aquí voy a hacer destripe (spoiler):

ChatGPT es capaz de superar una cantidad significativa de preguntas y problemas de diferente naturaleza en múltiples asignaturas.

Respondiendo con limitaciones

Lo que llamó mi atención fue una reflexión complementaria que hicieron en la presentación y que se plantean como trabajo futuro. Se dieron cuenta que ante una de las preguntas tipo test sobre un fragmento de código y al que ofrecían cuatro alternativas, que a priori parecía que no tendría problemas en responder bien, chatGPT se equivocaba.

Le realizaron la misma pregunta 100 veces y de forma mayoritaria daba como respuesta una opción que era errónea. Y tras mucho pensar y analizarlo, se dieron cuenta que había una parte del enunciado que podía despistar a chatGPT. Pensad que es un modelo de lenguaje y genera el texto nuevo (la respuesta) a partir de la pregunta (prompt). Efectivamente, quitaron ese fragmento del enunciado de la pregunta y le volvieron a plantear 100 veces a chatGPT este nuevo ejercicio. Ahora daba la respuesta correcta, incluso con mayor porcentaje que anteriormente la opción equivocada.

La importancia de las preguntas

Llegamos al final de la reflexión y estas son las ideas principales que quiero transmitir respecto a las preguntas en el aprendizaje:

• Los profesores deben ser conscientes del condicionamiento de la redacción de las preguntas que realizan. Es muy difícil poner buenas preguntas de evaluación, y más si estas son tipo test. Si van muy dirigidas, y conducen a la respuesta única, no favorecen el espíritu crítico y puede que la respuesta correcta ni siquiera signifique que han entendido el tema. Por el contrario, si incorporan distractores, puede que confundan y lleven a una respuesta incorrecta, aunque conozcan el tema.
• Los aprendices deben ser responsables de sus propias respuestas, tanto de que sean correctas como de la calidad de estas. Se obtengan de donde se obtengan las respuestas (libros, buscadores de internet, inteligencia artificial…), el estudiante que entrega un trabajo o realiza una prueba de evaluación es responsable de ella y su autoría tienen que quedar clara.
• A los aprendices deberíamos exigirles, no solo respuestas correctas, sino preguntas pertinentes. Cada vez más habrá sistemas que nos den las respuestas, así que formarse en hacer preguntas adecuadas es un buen camino para afrontar el futuro.

Como dice el título del post, debemos explorar el valor de las preguntas en el aprendizaje. Suelo empezar mis charlas diciendo a los asistentes que, si han venido en busca de respuestas, no soy el orador adecuado. Mi objetivo es que, si han acudido con dos o tres preguntas sobre el tema, salgan con más de diez. Y es en ese momento cuando se está en condiciones de aprender: espoleado por la curiosidad y guiado por la satisfacción de saber.

Querida lectora, querido lector, espero que en estos momentos tengas más preguntas que al iniciar la lectura de este post. Tienes por delante el mes de agosto para reflexionar. ¡Felices vacaciones!

 

---

Síguenos en julio y agosto con la serie Go back de universídad. Cada martes y cada jueves, te ofreceremos una selección de nuestros posts más visitados y leídos.