- Descifr[ando] - Matías Hoyl
- Posts
- 🏫💻 Tareas vs Robots: ¿Están listos nuestros colegios y universidades para la IA?
🏫💻 Tareas vs Robots: ¿Están listos nuestros colegios y universidades para la IA?
Analizamos cómo los estudiantes están utilizando IA para hacer trampa, los dilemas que presenta y cómo los educadores pueden responder a este fenómeno.
Esta semana
🧠 Una idea descifr[ada]: ¿Están listos nuestros colegios y universidades para la IA?
🧰 Dos herramientas de IA que pueden mejorar tu productividad: chatea con tus CSVs y nuevas funcionalidades de Bing Chat.
📰 Tres noticias relevantes de IA de la semana pasada: una droga hecha 100% con IA, el tutor con IA de Harvard y los dichos del CEO de Deepmind.
🖼️ Cuatro fotos generadas con IA: vistas isométricas de ciudades.
🧠 Una idea descifr[ada]: ¿Están listos nuestros colegios y universidades para la IA?
Este primer semestre fue un poco raro para los colegios y universidades.
Para entenderlo primero miremos el ciclo estándar de adopción por el cual pasa toda nueva tecnología:
Nace de la mano de los “innovadores”. Estas personas son quienes crean la tecnología y son los primeros en experimentar con ella (menos del 3% de la población).
Luego se suman a los “Early Adopters”, personas del público general, pero que se caracterizan por disfrutar probando nuevas tecnologías. Si estás leyendo este newsletter, probablemente estemos en este grupo. (menos del 17% de la población)
La tecnología tiene que pasar la prueba del “abismo”, donde muere la mayoría de los nuevos productos por falta de tracción.
Si eso sucede entonces sigue su ciclo de adopción hacia los grupos más conservadores (el 80% restante de la población).
Con la IA generativa es seguro decir que ya pasamos el abismo. Según algunas encuestas, un 14% de los adultos ha ocupado ChatGPT alguna vez.
El problema en la educación, es que la adopción es distinta entre profesores y estudiantes.
No tenemos datos de adopción en menores de 18 años, pero no me cabe duda de que sigue la tendencia del gráfico: generaciones menores conocen y usan más ChatGPT que los mayores.
Esto ha levantado las alarmas en varios colegios y universidades, en donde los estudiantes ya están usando ChatGPT para hacer trampa, mientras que la mayoría de los profesores están recién conociendo la tecnología, o algunos incluso nunca han escuchado sobre ella (me imagino la sorpresa de estos últimos cuando llegue Pedrito con el ensayo de tarea escrito como si hubiese sido Shakespeare).
Revisemos algunas de las tareas “clásicas” que un profe manda para la casa.
El ensayo
Es uno de los instrumentos educacionales más ocupados. Sirve para enseñarles a los estudiantes a escribir, pensar y reflexionar. Es una buena forma de vaciar “lo que un estudiante está pensando” en un papel para que luego el profesor lo pueda evaluar.
Pero también, los ensayos son la especialidad de los modelos como ChatGPT.
A menos que seas el estudiante de la foto de abajo, puedes generar ensayos creíbles y bien construidos con muy poco esfuerzo.
Un ensayo en inglés que comienza con “Lo siento, pero como un modelo de lenguaje de IA, no puedo hacer tu tarea…” El estudiante probablemente copió y pegó lo que le entregó ChatGPT sin siquiera mirarlo 🤦♂️.
Los tres problemas más grandes que tenían los ensayos hechos por ChatGPT ya están desapareciendo:
Originalidad: si ocupas la versión gratis de ChatGPT te darás cuenta de que los ensayos que entrega son muy genéricos y se sienten “robóticos”. Pero el nuevo modelo GPT-4 al que se puede acceder en la versión paga (o gratis en el navegador de Microsoft), produce textos mucho más convincentes y mejor escritos.
Detección: existen algunas herramientas que buscan detectar cuando un ensayo ha sido escrito por IA. Pero no son muy buenas haciéndolo. En este estudio, donde se evaluaron ensayos escritos por humanos y por ChatGPT, más de la mitad de los ensayos dieron como "falsos positivos" (fueron marcados como generados por IA cuando fueron escritos por estudiantes).
Alucinación: el talón de Aquiles de ChatGPT. Si le preguntas por una cita o una referencia, es muy probable que la invente. Pero los nuevos modelos tienen la capacidad de conectarse a internet, lo que reduce drásticamente la posibilidad de que inventen algo incorrecto.
Entonces, si los estudiantes pueden generar ensayos perfectos sin mucho esfuerzo, ¿qué se puede hacer?
La respuesta es binaria.
Si quieres evaluar como un estudiante escribe, entonces tu mejor opción es volver al mundo análogo: ensayos escritos a mano y en vivo.
Pero en general, cuando un profesor asigna un ensayo, lo que busca es evaluar otro tipo de habilidades cognitivas: resolución de problemas, desarrollar opinión, comprensión de un tema, capacidad de síntesis.
La escritura es un medio, no un fin.
Por lo tanto, si tus tareas o proyectos buscan evaluar algo más que escribir, y no viven en el mundo análogo, entonces lo mejor es asumir que el estudiante tiene acceso a la IA y subir la vara. Incluso ir un paso más allá y, como este profesor universitario, hacer que el uso de IA sea obligatorio en clase para algunos proyectos.
La política de uso de IA del profesor citado más arriba. Dice que para algunas tareas el uso de IA será obligatorio, deja algunas recomendaciones de uso y estipula que los estudiantes deben comentar cuando y como han ocupado la IA.
Comprensión lectora
Esta es otra forma común de evaluación en los colegios y universidades. En su forma más pura, se busca revisar si un estudiante entiende o no lo que ha leído, a través de informes de libros, pruebas con preguntas o ensayos.
Pero ChatGPT y sus primos, Claude de Anthropic y Bing Chat de Microsoft, son muy buenos leyendo, resumiendo y analizando texto.
Mira este ejemplo en donde le paso un PDF de 37 páginas a Bing Chat y le pregunto por los personajes de la historia.
Si tienes la versión pagada de ChatGPT, puedes hacer lo mismo ocupando el plugin “ChatWithPDF”.
Una tercera alternativa es copiar y pegar el libro en Claude-100k, que es un modelo en el que puedes escribir prompts de 75.000 palabras.
Copiaron y pegaron el Gran Gatsby, pero cambiaron una línea de todo el libro. El modelo se demoró 22 segundos en encontrar el error.
¿Qué se puede hacer en un mundo que los estudiantes tienen un “Rincón del Vago” con esteroides en sus bolsillos?
Nuevamente, hay que distinguir si la comprensión lectora es un medio para desarrollar otras habilidades, o es un fin en sí misma.
Si lo que se busca es evaluar que tan bien lee un estudiante y cuánto retiene de esa lectura, la mejor alternativa es volver al mundo análogo.
Pero intuyo que ese no es el objetivo final en el 80% de los casos.
Cuando un profesor envía de tarea la lectura de La Metamorfosis a sus estudiantes, no le interesa la fluidez con la que lo leen, o la cantidad de palabras por minuto que puede leer el estudiante.
Lo que quiere es que el estudiante entre en la historia. Conozca los personajes. Reflexione y traslade aprendizajes a su vida cotidiana.
Y para eso la IA puede ser un aliado.
Desde pedirle que personifique al personaje principal para hacerle preguntas.
O practicar la escritura con una continuación ficticia.
La IA cierra algunas puertas, pero abre otras interesantes.
Ejercicios y problemas
Por último, me gustaría explorar este tipo de tarea.
En marzo, cuando OpenAI lanzó GPT-4 (la versión más moderna de ChatGPT), nos mostraron estas estadísticas.
Porcentaje de estudiantes a los que les ganó la IA en cada una de estas reconocidas pruebas internacionales. Yo estoy dentro de ese grupo 🥲 (GRE verbal percentil 89).
Y la semana pasada, OpenAI nos mostró que ha logrado avances en la forma en que GPT-4 razona, reflexiona y planifica, habilidades muy útiles en la resolución de problemas matemáticos complejos.
El “paso a paso” que hace GPT-4 para encontrar la respuesta a este problema que, hace algunos meses, no podía resolver. Me llama particularmente la atención que es capaz de ir probando números (paso 6), muy parecido a lo que haría un estudiante de ingeniería con un problema así.
Y hoy (literalmente mientras escribía esto), Bing Chat me dio acceso a una nueva funcionalidad: cargar imágenes como parte del prompt.
Lo primero que hice fue pasarle una pregunta de la PAES de Ciencia (Prueba de Acceso a la Educación Superior Chilena, rendida por estudiantes de 18 años).
Le copio y pego el texto de la pregunta, y además le paso la imagen.
Estos modelos son muy buenos resolviendo problemas de exámenes, y cada vez serán mejores.
¿Qué significa esto para la educación?
Algunas reflexiones
No tengo las respuestas a estas preguntas. Pero he estado pensando lo siguiente:
La IA no va a desaparecer. Si por alguna extraña razón todos los avances en inteligencia artificial se frenaran, la tecnología ya ha avanzado lo suficiente para desestabilizar nuestro sistema educativo. Y la realidad es que la IA no se va a detener. Al contrario, está avanzando a una velocidad nunca antes vista en otras tecnologías. Lo que hace un año parecía magia, hoy es una realidad. Lo que hoy parece ciencia ficción, en unos meses va a ser parte de nuestras vidas.
La IA va a ser imposible de detectar. Ya casi lo es hoy. En la medida de que vayan saliendo nuevos modelos cada vez será más difícil. Por lo tanto, oponerse a su adopción en educación por medio de prohibiciones es una estrategia incorrecta, cortoplacista y potencialmente injusta (pensando en los estudiantes que serán castigados injustamente por ensayos escritos por ellos mismos).
Tarde o temprano, los estudiantes van a querer saber por qué están haciendo tareas que se sienten obsoletas. Es como si un profesor de matemáticas mandara de tarea para la casa multiplicaciones tipo 45.315 x 668.512. El estudiante va a mirar la tarea, va a suspirar decepcionado, va a sacar su celular y va a hacer la multiplicación en 1 segundo con la calculadora. Lo mismo va a empezar a pasar con ensayos, trabajos y lecturas para la casa si siguen sin modificaciones.
En el mundo escolar, los apoderados van a empezar a hacerse las mismas preguntas. Y van a empezar a presionar a los colegios con preguntas como ¿Cuál es su política de uso de IA en clases? ¿Cómo están preparando a mi hijo/a para un mundo donde el uso de IA en el trabajo va a ser tanto o más común que saber ocupar Word? ¿Cómo están capacitando a los profesores para esta nueva etapa? ¿Qué cambios están haciendo al curriculum? ¿Cómo están aprovechando a la IA como tutores personalizados?
Muchas veces se ocupa como ejemplo el impacto que tuvo la calculadora en la educación de los 70s. Y tiene algunos paralelos que suenan familiares: 72% de los profesores se oponía a su uso en escolares, apoderados pensaban que sus hijos se iban a volver dependientes de la tecnología e iban a perder habilidades matemáticas básicas, la sociedad en su conjunto pensaba que era una herramienta que aumentaba la desigualdad (porque eran inicialmente muy caras).
Le tomó 20 años a la calculadora para pasar de enemigo a ser parte del curriculum nacional.
20 años.
Y no fue tan doloroso porque su adopción también fue lenta: su alto precio hizo que solo algunos estudiantes tuvieran acceso a ellas.
Pero aquí es donde el ejemplo de la calculadora deja las similitudes con la IA.
No tenemos 20 años.
Cuando los profesores vuelvan a clases después de las vacaciones de invierno, van a enfrentarse con estudiantes que tienen una “máquina solucionadora de tareas” en su bolsillo.
Y van a tener dos opciones. Empezar a ocuparla como aliado hoy o en 20 años.
🧰 Dos herramientas de IA que pueden mejorar tu productividad
¿Tienes un set de datos y te gustaría entender algunas cosas básicas sin tener que molestar al analista de datos de tu empresa? En ChatCSV puedes subir un CSV con información, pedirle que la resuma, que te entregue gráficos e incluso cosas más avanzadas como modelos predictivos.
Esta no es una herramienta nueva, pero cada semana me sorprendo más con Bing Chat, el buscador que nadie ocupaba el año pasado (2% de mercado vs 98% de Google) pero que se volvió popular porque tiene a GPT-4 operando tras bambalinas. Cuatro cosas que ChatGPT no puede hacer y Bing Chat si:
Entender imágenes (ya lo vieron más arriba 🤯)
📰 Las tres noticias más importantes sobre IA de la semana pasada
La empresa Insilico Medicine está haciendo pruebas con una medicina 100% creada por IA. Ya le dieron permiso para entrar a pruebas "fase 2" (con humanos). La empresa está usando IA para abaratar costos y reducir tiempos de creación de drogas, y lo está logrando: un proceso que generalmente dura 6 años le tomó 2.5 con esta nueva droga que busca curar una enfermedad respiratoria poco común.
Los tutores de IA son el futuro de la educación. Pero salvo la excelente demo de Khan Academy de hace unos meses, no habíamos visto a nadie más aventurarse. Hasta que Harvard lanzó un tutor de IA para su curso de computación CS50. Su idea es emular el apoyo que le prestaría un profesor a un estudiante.
El CEO del Deepmind (el laboratorio de IA de Google) dijo que su nuevo modelo Gemini sería mejor que GPT-4, el modelo más avanzado detrás de ChatGPT plus. Los investigadores de Deepmind están ocupando técnicas que usaron para su jugador de "Go" AlphaGo para darle capacidad de planificación y de resolución de problemas (dos áreas en donde ChatGPT flaquea). Todavía no hemos visto nada, así que esperar.
🖼️ Cuatro fotos generadas con IA
Ciudades isométricas. Fuente.
Barcelona
Londres
París
Roma
🦾 ¡Eso es todo por ahora!
Al suscribirte a este boletín, prometí ser tu fuente de información y ayudarte a entender el mundo de la IA. ¿Qué te pareció el newsletter de hoy? Responde este correo y dime qué te gustaría ver más.
Si crees que esta información podría serle útil a alguien conocido, reenvíale este correo.
Si eres alguien que recibió este correo porque alguien te lo reenvío, y te gustaría seguir recibiéndolo, deja tu correo aquí.
¡Gracias por leer!
Nos vemos la próxima semana