🤖🚦Frenando la carrera: el peligroso potencial de la superinteligencia.

¿La extinción por IA es una realidad?

Author

Matías Hoyl
August 01, 2023

Esta semana

🧠 Una idea descifr[ada]: ¿La extinción por IA es una realidad?

🧰 Dos herramientas de IA que pueden mejorar tu productividad: leyendo noticias como si fuera el siglo XXI y una app para journaling.

📰 Tres noticias relevantes de IA de la semana pasada: Amazon pisa el acelerador en la IA, le sale competencia a Midjourney, y una nueva alianza para evitar nuestra extinción.

🖼️ Cuatro fotos generadas con IA: Game of Thrones Friends

Esta semana estaré de vacaciones, por lo que no tendré tiempo de escribir mi post semanal 🥲. Si el envío automático funcionó, entonces mientras lees esto estoy tirado en la playa tomando capiriña.

En su lugar, voy a revivir uno de los primeros posts que escribí, cuando éramos solo 163 personas inscritas en este email (hoy somos 10x).

Actualicé algunos datos y agregué información interesante, pero la idea central sigue siendo igual de importante hoy que en abril, cuando escribí el post.

🧠 Una idea descifr[ada]: ¿La extinción por IA es una realidad?

El 22 de marzo, varios pesos pesados de la industria de la inteligencia artificial, junto a otras 1000 personas, firmaron una carta que pedía una pausa de seis meses al desarrollo de los modelos de inteligencia artificial como ChatGPT. Su argumento principal es que la AGI (Inteligencia Artificial General, o “superinteligencia” como la llaman algunos) tiene el potencial de extinguir la raza humana.

Algunos meses más tarde, prácticamente todos los líderes en tecnología, incluyendo los CEOs de los laboratorios más grandes de IA (OpenAI, StabilityAI, Deepmind, Microsoft) firmaron una declaración similar.

Cuando leí la noticia mi primer instinto fue: “qué exagerados”. Si bien ChatGPT puede hacer muchas cosas sorprendentes, como salvar la vida de un perro, está lejos de poder dominar el mundo. Además, ¿qué puede hacer un pequeño pedazo de código encerrado en un computador para posicionarse como una amenaza existencial?

Pero cada vez que leía más sobre el tema, más me movía hacia el centro del “espectro del peligro existencial de la IA”.

Ahora quizás ustedes estén pensando “qué exagerado”.

Algo que hizo moverme un poco más al centro fue esta cita que encontré en internet:

Esto es un dato de una encuesta que se hizo a 738 investigadores de Machine Learning entre junio y agosto 2022. Y esto fue antes del lanzamiento de ChatGPT.

Se ve como una frase potente que podríamos copiar y pegar en LinkedIn para robar algunos likes, pero no nos movería más que esto. Pero como te sentirías si la frase hubiera sido esta:

Misma frase. Mismos números. Solo que un escenario que se siente más cercano.

¿Te subirías a ese avión? Probablemente no.

Cuando leí esto, me di cuenta de que probablemente hay muchas cosas que no estoy entendiendo bien sobre la IA y sus riesgos, por lo que me lancé a investigar.

Hay tres puntos importantes para entender este debate.

1. Es difícil entender que tan inteligente es la AGI

Como humanos, nos cuesta entender la magnitud de que alguien (o algo) sea 1000x veces más inteligente que nosotros. Por lo que estas tres analogías imperfectas, pero concretas, pueden ayudar:

  1. El salto en inteligencia de un humano a la AGI es mucho más grande que el salto en inteligencia entre un chimpancé y un humano. Trata de ponerte en los zapatos (¿garras?) de un chimpancé. ¿Crees que exista alguna forma en que pueda “entender” lo infinitamente más inteligentes que somos nosotros que ellos? De la misma manera, es difícil para nosotros, los humanos, entender lo infinitamente más inteligente que sería una AGI.

Si creamos una “escalera de la inteligencia”, estamos por sobre el chimpancé, quien, a su vez, está por sobre la gallina, y ella sobre la hormiga. Teniendo en cuenta esas diferencias de “inteligencia” entre escalón y escalón, la AGI se va a encontrar varios cientos de escalones más arriba. Algo imposible de entender. (Créditos a Wait But Why por la ilustración)

  1. Imagina que podemos meter en un computador a Albert Einstein (o a Oppenheimer, ahora que está de moda). Ahora imagina que le damos la capacidad a Albert de que pueda replicarse todas las veces que quiera, y que puedan colaborar entre todos ellos de la forma más coordinada nunca antes vista. Y, lo más importante, imagina que el “tiempo” para los Alberts pasa 10.000 veces más rápido. Un año nuestro es solo una hora para él. ¿Qué tan inteligente es este sistema? Sigue siendo difícil entenderlo.

  2. Imagina que tomas los planos para construir un aire acondicionado, viajas en el tiempo 1000 años atrás y se los pasas al científico más inteligente de la época. Su nivel de “inteligencia” está muy lejos de poder entender de que se trata esa máquina. Más aún, si lograras explicarle cómo funciona cada pieza y lograra armar el aire acondicionado, de todas formas hay concepciones de la ciencia, la naturaleza y la racionalidad, que le impedirían entender a ese científico porque esa máquina produce aire frío. Ahora multiplica esa brecha en inteligencia por 100.000. Eso es AGI.

Aun con estos ejemplos es difícil entender que tan inteligente es algo 1000x más inteligente que nosotros, lo que hace que naturalmente le “bajemos el perfil” al posible riesgo que esto pueda significar en nuestras vidas.

2. Las habilidades que estos modelos ganan en cada nueva iteración son impredecibles

En el mundo del desarrollo de software, cuando uno quiere mejorar una aplicación, la única forma de hacerlo es creando más y mejores funcionalidades, o quitando las que son deficientes. Es decir, mejoramos los programas con más programación.

El caso de los LLMs (Modelos de Lenguaje como ChatGPT) es un poco distinto. Su progreso no depende de que los programemos “mejor”, sino que los vamos “haciendo crecer”: los alimentamos con más datos o les damos más poder computacional para que generen más parámetros.

El caso de ChatGPT es ilustrativo. Si tuvieras que entrenar ese modelo con tu computador, te demorarías 10 millones de años. OpenAI logro entrenarlo porque tuvo a 10.000 computadores especializados trabajando durante 10 meses sin parar.

Los modelos son cada vez más complejos, necesitan más datos y más ciclos de cómputo para “desarrollar sus habilidades”.

Los investigadores no saben, a priori, que va a ser capaz de hacer el nuevo modelo hasta que “sale del horno” (después de la fase de entrenamiento) y lo prueban.

A esto se le llama propiedades “emergentes”: habilidades que un sistema “pequeño” no tiene, pero que una agrupación de ellos sí. Como la hormiga. En sí misma no hace nada muy sorprendente, pero miles de ellas juntas tienen la propiedad emergente de poder construir túneles de inmensa complejidad. O nuestras neuronas. Cada una por separado no hace mucho más que transmitir electricidad, pero billones de ellas juntas tienen la propiedad emergente más fascinante: la conciencia.

De esta misma forma, cada parámetro de ChatGPT no hace nada más que almacenar un número, pero un trillón de ellos tienen la propiedad emergente de redactar un correo o escribir un poema.

Una “pequeña” red neuronal de 10.875 parámetros (las líneas de colores). Cada uno de ellos almacena un número y nada más. Pero todos juntos tienen la habilidad emergente de decirme cuál número estoy escribiendo. Créditos a brilliant.org

Cada nuevo ciclo de entrenamiento (GPT2, GPT3, GPT4) ha venido con más y mejores propiedades emergentes, sorprendiendo incluso a sus creadores.

Esto suena genial, pero en este caso tiene algunas implicancias que hay que tener en cuenta.

  1. Las habilidades emergentes son impredecibles. No se puede predecir que tipo de habilidades va a tener una siguiente iteración del modelo simplemente extrapolando lo que ya sabemos.

  2. No son intencionales. Las habilidades que surgen no necesariamente han sido especificadas por quien ha entrenado el modelo.

  3. No sabemos lo que no sabemos. Como es imposible testear todas las posibles habilidades que ha desarrollado un nuevo modelo, puede suceder que existan habilidades que emergieron, y que no sepamos que existen.

El desarrollo de la AGI no va a ser evento puntual (”no existía ayer y hoy si existe”), sino que se va a dar de forma paulatina. Incluso hoy, hay personas que creen que GPT-4 es AGI. Probablemente, en cada nueva iteración, se van a ir desarrollando nuevas propiedades emergentes hasta que ya sea indiscutible que contamos con AGI. O peor aún, que en un nuevo ciclo se desarrolle la AGI y esta prefiera mantenerse oculta, y ni nos demos cuenta.

3. Es muy difícil alinear una AGI

La herramienta con la que contamos para evitar cualquier catástrofe se llama “Alineación”, que se define generalmente como “el proceso de garantizar que los sistemas de inteligencia artificial se comporten de manera que se alineen con los valores e intereses humanos”.

La forma más común de hacerlo es a través de una técnica llamada RLHF (Aprendizaje Reforzado con Feedback Humano, por sus siglas en inglés), en donde humanos participan del proceso de alineación entregando retroalimentación.

RLHF en “simple”. Ojo que no es la única forma de alineación, hay varias más.

Esta área de investigación está todavía en pañales, como nos recuerda el mismo líder de alineación de OpenAI, Jan Leike.

“Recordatorio de que alinear sistemas de IA más-inteligentes-que-humanos con los valores humanos es una investigación abierta”, o dicho de otra forma, “todavía no tenemos idea cómo hacerlo”. Qué alivio…

Hay un problema fundamental con la investigación reciente en alineación y que parece sacada de la ciencia ficción.

Parte del éxito de RLHF es que uno “confía” en que la respuesta que nos dan los modelos son su “mejor esfuerzo”, es decir, la mejor respuesta que se alinea a los valores humanos según su entrenamiento actual.

El problema es que un sistema infinitamente más inteligente que nosotros podría “simular” que está alineado, sin que nos demos cuenta de que no es así. En la etapa de RLHF nos puede devolver respuestas “políticamente correctas” para dejarnos tranquilos, pero, quizás, sus reales intenciones son otras.

Y lo que más asusta a algunos investigadores es que el ritmo al que están creciendo las capacidades de los modelos actuales es mucho mayor al ritmo de avance en el área de alineación. Algo así:

Las capacidades de los modelos están creciendo mucho más rápido que el progreso en alineación. Adicionalmente, hay muchos incentivos económicos para seguir haciendo crecer la curva azul, y no muchos para hacer crecer la roja.

En fin, todas estas cosas me hicieron moverme hacia al centro del “espectro del peligro existencial de la IA”. Creo que hoy estoy por aquí:

Entiendo mejor cuáles son los riesgos de la AGI y porque es tan difícil alinearla.

Este debería ser uno de los temas más importantes del minuto, sobre todo teniendo en cuenta de que no es una pregunta de “si es que” se dará la AGI, sino que de “cuando”.

Se les preguntó a 356 expertos en IA “¿Cuándo las máquinas podrán hacer todas las tareas mejor y más barato que los humanos?”. El 90% dio una respuesta dentro de los próximos 100 años. La mitad de ellos dio una fecha antes del 2061. Se viene.

¿Por qué una AGI nos eliminaría?

Esta es una pregunta importante.

¿Por qué un sistema mucho más inteligente que nosotros se volvería “hostil” y buscaría extinguirnos?

Y la respuesta es que no es necesario que un sistema superinteligente tenga como objetivo nuestra extinción para hacernos sufrir.

Un ejemplo: el humano promedio no tiene ninguna mala intención hacia las hormigas. En general, no buscamos eliminarlas activamente. Pero dentro de nuestros objetivos, no tomamos en cuenta su bienestar. Si tenemos que construir un mall, nos ponemos a hacer hoyos y movimientos de tierra que probablemente matan a millones de hormigas. No lo hacemos con mala intención, solo estamos cumpliendo nuestros propios objetivos.

De la misma manera, una AGI podría tener objetivos que conflictúen con el bienestar de los humanos. Y de la misma manera que no nos importan las hormigas, a la AGI podría no importante nuestra supervivencia.

No es necesario que sea “hostil” o que se transforme en terminator.

No es necesario que un ser superinteligente busque activamente nuestra extinción, para lograrlo de todas formas.

Los seres humanos lo sabemos muy bien, porque hemos estado en esa situación varias veces con otras especies.

🧰 Dos herramientas de IA que pueden mejorar tu productividad

  1. Artifact es la app para noticias que estaba esperando. Usa IA para hacer que tu experiencia de leer noticias sea efectiva y libre de “clicbait”: reescribe títulos para hacerlos más mesurados, elimina artículos que no agregan valor y resume las noticias usando IA.

  2. Hace mucho tiempo que quiero desarrollar un hábito de escribir diariamente, reflexiones sobre mi día a día. Lo que los gringos llaman “journaling”. Pero siempre lo he sentido muy “árido”. Estoy probando Rosebud, una app que lee lo que escribes y te lo devuelve en forma de reflexiones, preguntas o sugerencias. Está interesante.

📰 Tres noticias relevantes de IA de la semana pasada

  1. Amazon Web Services (AWS), la vertiente tech de Amazon, representa el 15% del negocio de Jeff Bezos (algo así como 20 billones de dólares anuales). Amazon no quiere perder mercado frente a los cambios que ha traído la IA, por lo mismo están invirtiendo fuerte en Amazon Bedrock, su plataforma que permite correr en la nube los modelos de IA más conocidos, como Claude y Stable Difussion.

  2. Hablando de Stable Difussión (el modelo Open Source para crear imágenes), Stability AI (la empresa que lo creó) acaba de lanzar su nueva versión SDXL 1.0. ¿Por qué es importante? Por qué está generando imágenes casi igual de buenas que el rey de este mercado: Midjourney. Pruébalo tú mismo/a aquí.

  3. Google, Microsoft, OpenAI y Anthropic (básicamente los 4 gigantes de la IA del momento) se juntan para crear el Fontier Model Forum, una agrupación que busca generar investigación sobre el uso responsable y seguro de la IA. Es la forma de la industria de decir: “no solo estamos creando tecnología de punta, sino que también lo estamos haciendo responsablemente.

🖼️ Cuatro fotos generadas con IA

Game of friends. Fuente.

🦾 ¡Eso es todo por ahora!

Al suscribirte a este boletín, prometí ser tu fuente de información y ayudarte a entender el mundo de la IA. ¿Qué te pareció el newsletter de hoy? Responde este correo y dime qué te gustaría ver más.

Si crees que esta información podría serle útil a alguien conocido, reenvíale este correo.

Si eres alguien que recibió este correo porque alguien te lo reenvío, y te gustaría seguir recibiéndolo, deja tu correo aquí.

¡Gracias por leer!

Nos vemos la próxima semana