🌚🎯 El lado oscuro de la optimización: la lucha entre la perfección y la generalización

Esta semana

🧠 Una idea descifr[ada]: El lado oscuro de la optimización

🧰 Dos herramientas de IA que pueden mejorar tu productividad: planea tu viaje perfecto y la “swiss knife” de los editores de imágenes.

📰 Tres noticias relevantes de IA de la semana pasada: un nuevo generador de imagenes, la nueva compañía de Elon Musk y la actualización de la competencia de ChatGPT.

🖼️ Cuatro fotos generadas con IA: bebés haciendo cosas de grandes.

🧠 Una idea descifr[ada]: El lado oscuro de la optimización

Soy un optimizador compulsivo.

Cuando quiero hacer algo, defino una meta y mi cerebro empieza a calcular la mejor forma de completarla.

Esto a veces es útil en contextos laborales (¿cómo puedo transformar esta idea de proyecto en un plan y ejecutarlo?), pero no tan útil cuando lo llevo al extremo (¿cuánta agua tengo que echarle al hervidor para que hierva lo más rápido posible, pero me alcance para llenar la taza?).

En el segundo caso, probablemente gasté más tiempo/energía pensando en la cantidad de agua adecuada, que el tiempo que gané optimizando esa (irrelevante) variable.

El post de hoy trata de responder esta pregunta: ¿cuál es el nivel óptimo de optimización?

En Machine Learning (ML) hay un concepto que nos puede ayudar a responderla.

No cierres este post todavía. Prometo no entrar en tecnicismos.

Además, vale la pena quedarse hasta el final, porque este fenómeno nos puede ayudar a entender los problemas que hay en la educación, el trabajo y la creación de conocimiento.

Entrenando nuestro primer modelo

Supongamos que queremos crear un modelo de IA que sea muy bueno clasificando imágenes de perros. Queremos pasarle una foto de un perro y que el sistema nos diga cuál es su raza.

La mejor forma de entrenar este modelo es con una técnica que se llama “Aprendizaje Supervisado”. Para que el modelo aprenda, debes pasarle un “set de entrenamiento” con muchas fotos de perros etiquetados con su raza.

Para cada foto del set de entrenamiento el modelo intenta adivinar a qué raza corresponde.

Al principio es prácticamente aleatorio, por lo que es muy malo adivinando. Pero, como sabe cuál es la respuesta correcta (cada foto tiene su etiqueta), puede mejorarse a sí mismo para que la próxima vez tenga más posibilidades de adivinar correctamente.

En la medida que pasa el tiempo, este aprendizaje basado en prueba-y-error va mejorando su capacidad de predicción. Nuestro modelo se vuelve cada vez mejor en catalogar los perros del set de entrenamiento.

Ahora que el modelo se ha vuelto más exacto, es hora de ponerlo a prueba con el mundo real.

En vez de pasarle las mismas imágenes del set de entrenamiento para que intente adivinar, le vamos a pasar nuevas imágenes con perros que nunca antes ha visto, para ver si puede generalizar lo que ha aprendido.

Y, si todo salió bien, entonces nuestro modelo debería ser relativamente competente en catalogar las nuevas imágenes.

Nunca va a ser igual de bueno que al intentar catalogar las imágenes que ya conoce (set de entrenamiento), por eso la curva roja siempre está debajo de la azul. Pero es un buen comienzo.

Ahora, si seguimos entrenando el modelo, algo curioso empieza a pasar.

Por un lado, mientras más tiempo de cómputo le demos al modelo para que siga “aprendiendo” sobre el set de entrenamiento, mejor se vuelve su capacidad de predicción, llegando casi a un 100% de precisión.

Pero su capacidad de catalogar imágenes nuevas (set de prueba) se va al carajo.

¿Qué está pasando aquí?

La maldición del “sobreajuste”

¿Cuál era nuestro objetivo inicial al crear este modelo?

Buscar que sea muy bueno en catalogar cualquier imagen de perro.

Pero es imposible optimizar pensando en ese objetivo, porque nunca vamos a poder entrenar al modelo en todas las fotos de perros del mundo.

Para simplificar ocupamos un proxy: un objetivo que se parece al objetivo original, pero que es más fácil de manejar. En nuestro caso: entrenar al modelo en un subconjunto de las imágenes de perros que, esperamos, sea lo suficientemente representativo de la realidad.

Como los dos sets son relativamente similares, al comienzo el modelo es bueno prediciendo las imágenes de ambos. Pero, mientras el modelo se vuelve más “experto” en las imágenes de entrenamiento, se vuelve muy bueno catalogando solo esas imágenes, y muy malo con todo el resto.

Las particularidades del set de entrenamiento se acentúan con cada ciclo adicional de aprendizaje. Algunas características que al comienzo no estaba tomando en cuenta (porque eran irrelevantes), comienzan a tomar cada vez más peso en su decisión.

A esto, en el mundo de Machine Learning, se le llama “sobreajuste”. Y es un problema real.

Por ejemplo, si muchas de las fotos de Border Collies del set de entrenamiento son perros sentados, entonces el modelo podría “aprender” que esa raza de perros generalmente están sentados.

Cuando le pase una foto de un Border Collie parado, se puede confundir y clasificarlo erróneamente.

Podemos resumir lo que pasó de la siguiente manera:

• Objetivo real a optimizar: un modelo que pueda catalogar todas las fotos de perros según su raza.

• Objetivo proxy: es difícil recolectar todas las fotos del mundo, por lo que le pasamos un subconjunto representativo.

• Sobreajuste: si intentamos optimizar más de la cuenta, el modelo se comienza a fijar en detalles irrelevantes del set de entrenamiento y no es capaz de generalizar para catalogar fotos reales.

¿Y qué me importa a mí?

Ahora que conoces el concepto de sobreajuste, te vas a dar cuenta de que es aplicable a muchos sistemas “complejos” de nuestras vidas.

Algunos ejemplos:

Educación

• Objetivo real a optimizar: que los estudiantes aprendan bien las asignaturas.

• Objetivo proxy: no podemos meternos dentro del cerebro de los niños para ver cuánto han aprendido, por lo que usamos pruebas estandarizadas para medir que tanto saben de cada asignatura.

• Sobreajuste: si un sistema de educación pone mucha presión en las pruebas estandarizadas, la búsqueda por optimizar sus resultados hace que los estudiantes se transformen en robots muy buenos respondiendo preguntas de selección múltiple, pero que no necesariamente han aprendido.

Trabajo

• Objetivo real a optimizar: que los empleados sean productivos y contribuyan al éxito del negocio.

• Objetivo proxy: dado que no siempre es fácil medir la productividad directamente, a menudo se utilizan indicadores como el tiempo dedicado a tareas laborales o el número de tareas completadas.

• Sobreajuste: si un empleador se enfoca en extremo en estas métricas, puede fomentar una cultura de trabajo donde los empleados están constantemente ocupados, llenan sus días con tareas o se quedan hasta más tarde haciendo nada, pero puede que no estén contribuyendo de manera efectiva al crecimiento o éxito a largo plazo del negocio.

Investigación Científica

• Objetivo real a optimizar: descubrir verdades fundamentales sobre el universo, desarrollar tecnologías útiles y nuevas terapias médicas.

• Objetivo proxy: el número de publicaciones en revistas científicas, a menudo usadas para medir la productividad de un investigador.

• Sobreajuste: los científicos pueden sentirse tentados a realizar y publicar solo aquellos experimentos que darán resultados "publicables", evitando cuestiones de investigación riesgosas o a largo plazo que podrían llevar a avances más significativos. O, por otro lado, pueden enfocarse en publicar varios artículos cortos y de bajo valor, para aumentar su cantidad de publicaciones.

Marketing Digital

• Objetivo real a optimizar: Aumentar el reconocimiento de marca y las ventas a largo plazo.

• Objetivo proxy: Cantidad de clics, impresiones o "me gusta" en publicaciones de redes sociales.

• Sobreajuste: Un enfoque excesivo en estas métricas puede llevar a tácticas de marketing de corto plazo que captan la atención (el conocido “clickbait”), pero no generan lealtad a la marca o ventas sostenibles.

Algunas reflexiones

Este paralelo entre Machine Learning y la vida misma me lleva a pensar tres cosas:

1. Cuando uno optimiza algo, rara vez estás optimizando la cosa misma que quieres optimizar. En general elegimos un objetivo proxy, que es representativo del objetivo general, pero también distinto. Cuando queremos optimizar nuestro estado físico, es imposible tomar en cuenta todas las variables que dan como resultado una vida saludable, por lo que elegimos alguna de ellas (salir a trotar, o comer bien, o hacer pesas) y las ocupamos como proxy para el objetivo original.

2. Cuando uno sobre-optimiza un objetivo proxy, en realidad te alejas mucho de la meta original. El “sobreajuste” te lleva a ser muy bueno optimizando tu objetivo proxy, pero te aleja de tu objetivo original. Si elegí levantar pesas como alternativa saludable, y si me obsesiono con optimizar ese objetivo, probablemente aumente mucho mi masa muscular, pero a costa de otros marcadores que también son importantes para mi estado físico (nutrición, flexibilidad, VO2 max, etc.).

3. Si retomamos la pregunta original “¿Cuál es el nivel óptimo de optimización?”, el concepto de sobreajuste nos da la respuesta: ni muy poco, ni mucho: en el medio. Cuando sintamos que una hora de optimización adicional nos va a alejar del objetivo original, entonces es cuando tenemos que ajustar. En nuestro ejemplo, reducir las horas de pesas (y perder esos preciados bíceps) para dedicar horas a otras actividades en donde una hora de optimización todavía está con “pendiente positiva” (todavía hay espacio de crecimiento).

Cierro con una cita de Aristóteles, que entendió esto hace mucho tiempo sin necesidad de analogías complicadas con Machine Learning: “la virtud se manifiesta en las pasiones y en los actos; y para las pasiones y los actos el exceso en más es una falta; el exceso en menos es igualmente reprensible; el medio únicamente es digno de alabanza”.

PD: la idea central de este artículo y varios ejemplos me los robé de estos otros dos artículos (artículo 1 y artículo 2). Recomiendo seguir a esos creadores si te interesa este tema.

🧰 Dos herramientas de IA que pueden mejorar tu productividad

1. ¿Estás planeando algún viaje? Copilot2Trip es una herramienta interesante que ocupa IA para entregarte el itinerario de viaje perfecto, pero además, a diferencia de otras herramientas que hay por ahí afuera, te entrega un mapa con la ubicación de todas sus recomendaciones.

2. Clipdrop es una herramienta muy útil para manejo de imágenes con IA. Algunas de las más útiles:

   1. Crear fotos (mejor que Dall-e a mi juicio)

   2. Agrandar fotos de mala calidad

   3. Eliminar fondo

   4. Uncrop (algo así como hacer la foto para los lados)

   5. Y la nueva funcionalidad que salió esta semana: dibujo a imagen. Dibuja algo y la IA transforma la idea en una imagen real.

📰 Las tres noticias más importantes sobre IA de la semana pasada

1. Meta (ex-Facebook) tiene uno de los laboratorios de investigación en IA más avanzados. Prácticamente cada semana lanzan un nuevo modelo (de texto, audio, video, o imagen) que es mejor que la competencia. Esta semana lanzaron CM3leon, su modelo de creación de imágenes. Dicen que es 5x más eficiente que la competencia y eso que fue entrenado en un dataset más pequeño.

2. Uno pasa del amor al odio rápidamente con Elon Musk. No se puede negar que es un visionario (Tesla, SpaceX y Neuralink), pero su arrogancia hace difícil quererlo. Poco saben que él fue uno de los fundadores de OpenAI, pero dejó la compañía cuando empezó a alejarse de su visión. Esta semana, en una especie de revancha, lanzó su nueva compañía de IA: x.ai. Lo más notable su misión: “entender la verdadera naturaleza del universo”.

3. Bard, el rival de ChatGPT hecho por Google, por fin llegó a países fuera de USA. Además de empezar a funcionar en más de 40 nuevos idiomas, el chatbot ahora entiende imágenes. Sigue siendo peor que ChatGPT, pero está cerrando la distancia. Además, es MUCHO más rápido.

🖼️ Cuatro fotos generadas con IA

Bebés haciendo trabajos de adultos. Fuente

🦾 ¡Eso es todo por ahora!

Al suscribirte a este boletín, prometí ser tu fuente de información y ayudarte a entender el mundo de la IA. ¿Qué te pareció el newsletter de hoy? Responde este correo y dime qué te gustaría ver más.

Si crees que esta información podría serle útil a alguien conocido, reenvíale este correo.

Si eres alguien que recibió este correo porque alguien te lo reenvío, y te gustaría seguir recibiéndolo, deja tu correo aquí.

¡Gracias por leer!

Nos vemos la próxima semana

Matías