Principios de la IA · Capítulo 2 de 8
Cómo escribe un modelo
Un modelo de lenguaje escribe un token a la vez sorteándolo de una lista de probabilidades, la temperatura cambia cómo sortea y nada en ese paso comprueba si las palabras son ciertas.
Objetivos
- Lee las probabilidades para un prompt y deja que el modelo tome la palabra más probable.Pendiente
- Elige tú las siguientes cinco palabras.Pendiente
- Escribe con una temperatura baja y con una alta, y mira cómo se desvía el texto.Pendiente
- Supera la comprobación.Pendiente
Paso 1 de 4: La lectura
Una pieza a la vez
En el capítulo anterior, un clasificador aprendió de ejemplos a separar puntos por tipos. Un modelo de lenguaje, el tipo de IA que está detrás de los asistentes de chat, aprendió de una enorme cantidad de texto a hacer una sola cosa: dado un texto, decir qué es probable que venga después. Escribe repitiendo ese paso. Calcula una probabilidad para cada pieza siguiente posible, elige una, la agrega al texto y vuelve a empezar.
Tokens y probabilidades
Las piezas se llaman tokens. Un token es un trozo corto de texto: una palabra, parte de una palabra o un signo de puntuación. Una probabilidad es un número del 0 % al 100 %, y las probabilidades de todos los tokens siguientes posibles suman 100 %. Después de “La cafetería abre a las 8 de la”, el token “mañana” recibe una probabilidad alta y “luna”, una mínima. El texto del que partes se llama prompt.
Temperatura
El modelo sortea el siguiente token, ponderado por las probabilidades, así que los tokens probables salen más a menudo. La temperatura es un ajuste que redistribuye las probabilidades antes del sorteo. Cerca de 0, el token más probable gana casi siempre, y el mismo prompt da casi el mismo texto cada vez. Más arriba, los tokens poco probables se eligen más a menudo: el texto varía más y, pasado cierto punto, se desvía hacia el sinsentido.
Fluido no es lo mismo que cierto
Cada token se elige porque es probable que venga después, no porque sea cierto. Nada en este paso comprueba un dato. Un modelo puede escribir una frase fluida con una fecha, un precio o un nombre equivocados, y una temperatura baja no lo arregla: solo elige las palabras más probables. Revisar lo que escribe sigue siendo tu trabajo, y un capítulo posterior muestra cómo.
El modelo de esta página
El explorador de abajo ejecuta un modelo diminuto que tu navegador entrena al abrir la página, con diez fábulas de Esopo. Sus tokens son palabras enteras y signos de puntuación. Solo mira los dos últimos y cuenta qué vino después de ellos en las fábulas. Los modelos que están detrás de los asistentes de chat usan tokens que pueden ser partes de palabras, tienen en cuenta mucho más texto y tienen miles de millones de parámetros, los números que ajustan mientras aprenden. El paso de elegir funciona igual.
Paso 2 de 4: Pruébalo: Explorador de la siguiente palabra
Explorador de la siguiente palabra
Lee las probabilidades para un prompt, elige tú algunas palabras y luego mueve la temperatura y mira cómo se desvía el texto.
Modo:RealReal: tu navegador entrena el modelo de palabras con diez fábulas de Esopo al abrir la página, y cada probabilidad y cada elección se calculan en vivo. Es mucho más pequeño que los modelos que están detrás de los asistentes de chat.
Paso 3 de 4: Comprobación
Comprobación
Siguiente: Pregunta 2 de 3
Paso 4 de 4: Lo que ya puedes hacer
Lo que ya puedes hacer
- Explicar que un modelo de lenguaje escribe un token a la vez y sortea cada uno según probabilidades.
- Decir qué cambia la temperatura y qué no.
- Explicar por qué una respuesta fluida y segura puede estar equivocada.