¿Cómo funciona ChatGPT?

Una curiosidad: ¿Cómo funciona ChatGPT?

¿Por qué ChatGPT va escribiendo la respuesta como si fuera una máquina de escribir, generando sílaba por sílaba, en vez de mostrar la respuesta completa? ¿No es lo suficientemente rápido e inteligente como para copiarme y pegarme toda la respuesta de una?

No es una animación decorativa. Tiene que ver con la forma en que este tipo de generadores funciona.

Para entender mejor las palabras, ChatGPT las divide en tokens, que son una fracción de una palabra. Por ejemplo, la frase “Me gustan los perros” se divide en los tokens “Me”, “ gust”, “an”, “ los”, “ per”, “ros”.

Cuando usamos ChatGPT, lo que intenta hacer el generador es predecir el token que debería ir inmediatamente después de la secuencia de tokens que recibe. Si le escribimos “Me gustan los” el modelo dice que con un 14% de probabilidad el siguiente token es “ g”, con casi 11% de probabilidad es “deport” y con poco más de 6% “per”.

Los tokens que van antes de la predicción son determinantes. Podemos darle más contexto a ChatGPT para que la predicción del siguiente token sea más obvia.

Como ChatGPT va prediciendo sílaba por sílaba nuestras respuestas, el efecto de “tecleo” es una forma de darle espacio para que vaya generando la respuesta en vivo, en vez de tener que esperar que la genere completa para luego mostrarla, lo que le tomaría más tiempo.

La tokenización también es la razón detrás de las inexplicables ocasiones en que ChatGPT se queda pegado en la mitad de una frase. Intenta predecir el siguiente token, pero se queda sin recursos por el alto volumen de requerimientos de ese momento.

Mis cosas favoritas de esta semana

🎙 Un podcast - The Tim Ferris Show: Jonathan Haidt - The Coddling of the American Mind. Tim Ferris habla con el psicólogo y autor del best seller “The Righteous Mind” sobre su nuevo libro que lleva el nombre del episodio. Haidt argumenta que estamos sobreprotegiendo a una generación de jóvenes y les hemos privado la oportunidad de encontrarse con lo distinto y aprender de los errores. Esto está teniendo múltiples repercusiones en la sociedad, desde un aumento considerable en las tasas de suicidio y depresión en jóvenes desde el 2012 a estudiantes universitarios que repelen lo contrario y se cierran al debate. Un episodio muy interesante, sobre todo para padres que quieren criar a sus hijos con una mentalidad de antifragilidad.

📽 Un video - Eres una máquina imposible. Un video en inglés (puedes ocupar los subtítulos de YouTube) que habla del lenguaje de la vida: las proteínas y aminoácidos. Suena aburrido, pero es interesantísimo. Dato curioso e inútil: si tomamos todo el ADN de tu cuerpo, lo estiramos y lo ponemos uno al lado del otro, llegaría desde la tierra hasta el sol. Veinte veces.

🐦 Un tweet - Este hilo de Codie Sánchez agrupa preguntas útiles y distintas que uno puede hacer en una entrevista de trabajo. La que más me gustó a mí: “¿De qué tema podrías hacer una presentación de 5 minutos?”, y una vez que responda, pasarle una pizarra chica y escuchar la presentación.

📱 Una herramienta - Snipd. Cuando salgo a trotar escucho podcasts. Ahora que estoy trotando un poco más, implica que estoy escuchando entre 2 y 3 horas de podcasts a la semana. Eso es mucha información útil que entraba por un oído y salía rápidamente por el otro. Hasta que conocí Snipd, una app que te deja guardar extractos de podcast fácilmente (por ejemplo, yo aprieto tres veces mis audífonos y me guarda aprox 1 minuto de conversación). No solo eso, te genera resúmenes y highlights automáticamente usando IA.