VIDA DIGITAL

Cómo copiarse en un examen con ChatGPT
Hay una insidiosa confusión entre la capacidad de producir texto original y la capacidad de producir texto original de valor, y eso se ve muy claro en la evaluación
La respuesta es más simple de lo que uno se imagina, pero seguramente no es la que el alumno negligente querría leer; casos de la vida real y algunos experimentos con el prompt
Ariel Torres
Los exámenes de fin de año son desde 2023 un desafío también para los docentes. ChatGPT y otros modelos de lenguaje teóricamente le permiten al alumno responder casi cualquier pregunta sin haber estudiado nada. Sin embargo, la alarma generalizada que recorrió el claustro luego del 30 de noviembre de 2022 ha ido dando paso a cualquier cosa menos lo que esperábamos. Típico.
Primero, para usar ChatGPT, el alumno debe saber que hay ahí algo así como ChatGPT, gratis y accesible desde prácticamente cualquier dispositivo; ahora, en Estados Unidos, incluso tiene un 0800. Pero, dada la catastrófica crisis educativa de la que estamos siendo testigos, una de las cosas que vine a descubrir es que buena parte del alumnado ignora por completo que existen OpenAI, Sam Altman y ChatGPT. ¿No es genial? Los docente pasamos meses debatiendo qué hacer frente a la tormentosa irrupción de la IA y resulta que una parte sustancial de los alumnos no sabe ni siquiera que esa herramienta está disponible.
Esa foto resume todo el problema respecto de haber degradado la educación hasta los niveles actuales. Lo diré de nuevo: intervenimos el aula para hacer adoctrinamiento, despojamos al docente de toda su autoridad y le pagamos una miseria. ¿Por qué nos asombra que el alumno llegue a la universidad sin conocer siquiera un vocabulario elemental y sin la destreza para resolver problemas aritméticos de escuela primaria?
Ensayo y error
Si dejamos de lado que muchos no saben que hay algo llamado ChatGPT, un fenómeno más generalizado de lo que se cree (fuera, claro, de las carreras informáticas), en sucesivos exámenes vine a advertir que si seguimos preguntando como antes, ChatGPT puede ser una nueva forma de hacer trampa. Pero si uno le toma el pulso al bot, empieza a darse cuenta de que hay preguntas que a la IA le cuesta responder en el nivel que se espera de un alumno universitario.
Por supuesto (ya lo sé, no se enojen todavía, hay tiempo), casi todo esto depende de la asignatura de la que se trate. Pero en todos los casos siguen siendo ciertas dos cosas. Primera, que ChatGPT y sus equivalentes ya se encuentran instalados entre nosotros y que cada vez van a estar más presentes y van a ser más ubicuos y omnipresentes. Segundo, que nuestros alumnos van a vivir en un mundo con bots de IA, de modo que prohibir su uso es contradictorio. Se supone que educamos para el futuro, no para que solo se saquen una nota decente. Esta obsesión por las notas es una de las cabezas de la hidra.
Por supuesto, como hay que sentarse y pasarse horas experimentando con los bots de IA, no vamos a poder adaptar nuestros exámenes de un día para el otro, y casi todos los avances van a ser el resultado del ensayo y el error. Lo he dicho ya muchas veces, y la realidad prueba que es así. Estamos en terreno no cartografiado. Así que aquí van dos historias reales en la intersección entre el alumnado, ChatGPT y los exámenes finales.
La era del guitarreo
El año pasado, por ejemplo, en una de las materias que dicto en la UP (Internet para periodistas), una alumna entregó un examen final de más o menos 10.000 caracteres. Tardó cinco minutos. De modo que tipeó a una tasa de alrededor de 33 caracteres por segundo.
Si el examen hubiera sido de mecanografía, caramba, habría descollado. Pero las preguntas estaban formuladas de tal manera que la mejor respuesta fuera la más sucinta y a la vez completa. Una palabra. Un número. Con eso alcanzaba. Si habías estudiado, la solución era obvia. Pero a ChatGPT le gusta hablar. Y si el alumno no estudió, hay que leer todos esos 10.000 caracteres para ver si ahí se esconde la respuesta correcta, y, además, descubrirla. Y para eso, hay que estudiar. No era el caso, y en sus 10.000 caracteres la respuesta estaba solo vagamente sugerida. Así que ni siquiera con la ayuda de la IA el resultado fue aceptable.
Este año, el fenómeno se repitió, solo que hubo más casos. Es decir, GPT empieza a instalarse como un ayudante de examen, al menos entre los que saben que existe. Como vemos IA en clase, todos mis alumnos terminan el curso conociendo la herramienta. Pero, de nuevo, el problema son los resultados.
Si el docente sabe cómo interpreta las consultas GPT, puede pensar en cada pregunta como un prompt. Si el alumno estudió, podrá responder con la misma facilidad que antes, porque las personas somos extremadamente flexibles para interpretar el lenguaje.
GPT, en cambio, tiende a dar respuestas generales, vagas, incompletas, fuera de foco. Es el rey de lo que en el claustro llamamos (¿es un viejazo esta palabra ya?) guitarreo. El alumno que no sabe te dice que “Internet es una red global, muy importante, llena de recursos que pueden cambiarnos la vida y el futuro de la humanidad y que ha revolucionado la vida de las personas aquí y también en Japón”, cuando la respuesta correcta es: “Internet es una red de redes que emplea el conjunto de protocolos TCP/IP”.
Ahora bien, en todo su guitarreo, al revés que el alumno que no estudió, ChatGPT aporta los datos correctos (bueno, depende, por supongamos que es así). Por desgracia para el alumno negligente, la única forma de responder correctamente con la ayuda de un modelo de lenguaje sería reformular la consulta, volver a preguntarle a GPT, a menudo varias veces, y eso sería incluso más trabajoso que estudiar. Más entretenido, claro, y no está mal si lo hacés antes de rendir. O, si no, leer toda la cháchara de ChatGPT y extraer solo lo que sirve; para eso, de nuevo, hay que estudiar. O, en tercer lugar, habría que conocer cómo funciona ChatGPT –cosa que, en esta materia, vemos en clase– y reformular la pregunta de tal modo que con un buen prompt solo diga lo esencial. Para entender cómo se usa el prompt el alumno, una vez más, debería haber estudiado (abajo hay tres ejemplos interesantísimos sobre esto).
O sea, o tenés muchísimo tiempo o estudiaste. Por eso, mis exámenes tienen un límite de tiempo estricto, precisamente para desactivar a los tramposos. Frente a esta urgencia, los que no estudiaron copian y pegan la respuesta de GPT (por lo general, solo el primer párrafo, para no quedar en evidencia), y como resultado se sacan solo una nota mediocre. Que es la gran lección aquí. Si querés resultados mediocres, una carrera mediocre, un salario mediocre, un futuro mediocre, no estudies. Usá solo ChatGPT. Ahora bien, si ya existe GPT, ¿por qué alguien querría contratarte?
Hablemos del prompt
La mayoría de los alumnos y no poco docentes compran el discurso de moda, que sostiene que la IA es una solución mágica. Fijate estos tres prompts. El primero no tiene ningún trabajo adicional, y ChatGPT se despacha con casi 2000 caracteres. Le pregunté: “¿Qué es Internet?” y respondió:
Internet es una red global de computadoras interconectadas que permite la transmisión de información y el acceso a servicios en todo el mundo. Es una infraestructura que conecta dispositivos como computadoras, teléfonos inteligentes, servidores y otros sistemas a través de protocolos estandarizados, como el Protocolo de Internet (IP).
Características principales:
1. Interconexión global: Permite a personas y dispositivos de diferentes lugares comunicarse y compartir información en tiempo real.
2. Diversidad de servicios: Proporciona acceso a recursos como páginas web, correos electrónicos, redes sociales, videollamadas, almacenamiento en la nube y más.
3. Accesibilidad universal: Aunque requiere infraestructura y tecnología, es accesible para gran parte del mundo.
4. Basado en protocolos: Funciona gracias a un conjunto de reglas y protocolos, como TCP/IP, que aseguran la transmisión efectiva de datos.
Cómo funciona:
1. Los datos se transmiten en paquetes que viajan a través de la red usando direcciones IP para llegar a su destino.
2. Las conexiones suelen realizarse a través de proveedores de servicios de internet (ISP, por sus siglas en inglés).
3. Equipos clave, como enrutadores y servidores, gestionan y direccionan el tráfico.
Usos principales:
• Comunicación: Correos electrónicos, chats y videollamadas
• Educación: Acceso a información, cursos en línea y bibliotecas virtuales.
• Entretenimiento: Streaming, videojuegos en línea y redes sociales.
• Comercio: Compras, banca en línea y transacciones electrónicas.
Internet ha transformado la manera en que las personas interactúan, trabajan y acceden al conocimiento, convirtiéndose en una herramienta esencial en la sociedad moderna.
Ahora, como el alumno sabe que debe responder en una o dos líneas como máximo, podría poner: “En 15 palabras, ¿qué es Internet?” A lo que GPT, fiel a su estilo, dirá:
Internet es una red global que conecta dispositivos, permitiendo comunicación, intercambio de información y servicios.
Muy lindo, pero no es una respuesta completa, que es lo que se pide en la consigna, ni del todo correcta, porque si bien a la larga los dispositivos se ven entre sí, esta tecnología conecta redes. ¿Cómo podría resolverse esto? Con este otro prompt: “Técnicamente, en 15 palabras, ¿qué es Internet?” Ahí sí, ChatGPT da una respuesta a la altura del nivel universitario (y no de un magazine de cable de la década del ‘90):
Internet es una red de redes interconectadas que utiliza protocolos como TCP/IP para transmitir datos.
(Dicho sea de paso, el adjetivo “interconectadas” es innecesario; y no son “protocolos como TCP/IP”, sino que el paquete de protocolos de Internet se llama “TCP/IP”, por sus dos protocolos principales, tal como, obviamente, vimos en clase.)
Hay una vuelta más, aquí, y sumamente significativa. Si sos un alumno que no estudió, ¿qué respuesta suena más segura? La primera, la que recurre a la verborragia y usa conceptos conocidos. En cambio, la más precisa es la que te daría más miedo usar, porque para entenderla deberías haber estudiado.
Ceros y más ceros
Estoy tentado de poner en tela de juicio el verdadero valor de los exámenes tal como están diseñados hoy, pero eso es algo que ya hice antes de la aparición de los modelos de inteligencia artificial generativa. Este avance no ha hecho sino poner al rojo vivo que la evaluación requiere una auténtica refundación. Una anécdota, para ilustrar esto. Hace muchísimos años, cuando fui a dar el final de lingüística general con la enorme Beatriz Lavandera, en la UBA, llegué a la mesa examinadora, y me dijo:
–No te sientes todavía. Decime qué es la doble articulación del lenguaje.
Estaba visiblemente enojada. Le respondí correctamente, y me dijo:
–Sentate, ahora sí podés dar el examen.
–Beatriz, ¿qué pasa? –le pregunté.
–¿Qué pasa? –repitió, indignada.– ¡Pasa que con esto de que sacaron la correlatividad vienen un montón de mocosos que ni siquiera cursaron gramática a rendir lingüística! –Y para documentar su irritación me mostró el acta del examen, donde se veía un número asombroso de ceros. Nada de 2 o de 1. Para que quedara claro su punto, les había puesto un cero, no por lo que no sabían de lingüística, sino por lo que no sabían de sintaxis, una materia que hay que cursar antes, más o menos como es menester saberse los números para aprender a sumar y restar.
Beatriz tenía claro que el conocimiento es una red de saberes, que la memoria es solo una parte de ese entramado, pero que ni puede prescindirse de ella ni pueden saltearse escalones. Y que si los exámenes no son también sistémicos, entonces solo están evaluando la picardía o la memoria de corto plazo. Ninguna de las dos cosas tiene futuro en el mundo de la IA.

http://indecquetrabajaiii.blogspot.com.ar/. INDECQUETRABAJA