Saltar al contenido
Volver a Principios de la IA

Principios de la IA · Capítulo 2 de 8

Cómo escribe un modelo

Un modelo de lenguaje escribe un token a la vez sorteándolo de una lista de probabilidades, la temperatura cambia cómo sortea y nada en ese paso comprueba si las palabras son ciertas.

14 minutos0 de 4 objetivos hechos

Objetivos

  • Lee las probabilidades para un prompt y deja que el modelo tome la palabra más probable.Pendiente
  • Elige tú las siguientes cinco palabras.Pendiente
  • Escribe con una temperatura baja y con una alta, y mira cómo se desvía el texto.Pendiente
  • Supera la comprobación.Pendiente

Paso 1 de 4: La lectura

Una pieza a la vez

En el capítulo anterior, un clasificador aprendió de ejemplos a separar puntos por tipos. Un modelo de lenguaje, el tipo de IA que está detrás de los asistentes de chat, aprendió de una enorme cantidad de texto a hacer una sola cosa: dado un texto, decir qué es probable que venga después. Escribe repitiendo ese paso. Calcula una probabilidad para cada pieza siguiente posible, elige una, la agrega al texto y vuelve a empezar.

Tokens y probabilidades

Las piezas se llaman tokens. Un token es un trozo corto de texto: una palabra, parte de una palabra o un signo de puntuación. Una probabilidad es un número del 0 % al 100 %, y las probabilidades de todos los tokens siguientes posibles suman 100 %. Después de “La cafetería abre a las 8 de la”, el token “mañana” recibe una probabilidad alta y “luna”, una mínima. El texto del que partes se llama prompt.

Temperatura

El modelo sortea el siguiente token, ponderado por las probabilidades, así que los tokens probables salen más a menudo. La temperatura es un ajuste que redistribuye las probabilidades antes del sorteo. Cerca de 0, el token más probable gana casi siempre, y el mismo prompt da casi el mismo texto cada vez. Más arriba, los tokens poco probables se eligen más a menudo: el texto varía más y, pasado cierto punto, se desvía hacia el sinsentido.

Fluido no es lo mismo que cierto

Cada token se elige porque es probable que venga después, no porque sea cierto. Nada en este paso comprueba un dato. Un modelo puede escribir una frase fluida con una fecha, un precio o un nombre equivocados, y una temperatura baja no lo arregla: solo elige las palabras más probables. Revisar lo que escribe sigue siendo tu trabajo, y un capítulo posterior muestra cómo.

El modelo de esta página

El explorador de abajo ejecuta un modelo diminuto que tu navegador entrena al abrir la página, con diez fábulas de Esopo. Sus tokens son palabras enteras y signos de puntuación. Solo mira los dos últimos y cuenta qué vino después de ellos en las fábulas. Los modelos que están detrás de los asistentes de chat usan tokens que pueden ser partes de palabras, tienen en cuenta mucho más texto y tienen miles de millones de parámetros, los números que ajustan mientras aprenden. El paso de elegir funciona igual.

Paso 2 de 4: Pruébalo: Explorador de la siguiente palabra

Explorador de la siguiente palabra

Lee las probabilidades para un prompt, elige tú algunas palabras y luego mueve la temperatura y mira cómo se desvía el texto.

Modo:RealReal: tu navegador entrena el modelo de palabras con diez fábulas de Esopo al abrir la página, y cada probabilidad y cada elección se calculan en vivo. Es mucho más pequeño que los modelos que están detrás de los asistentes de chat.

Paso 3 de 4: Comprobación

Comprobación

Pregunta 1 de 3Escribes “Nuestro tren a la costa sale a las” y un modelo continúa el texto. ¿Qué hace?

Siguiente: Pregunta 2 de 3

Pregunta 2 de 3Le haces a un modelo la misma pregunta dos veces con una temperatura alta. ¿Qué deberías esperar?
Pregunta 3 de 3Un modelo escribe, con fluidez y sin dudar: “La cafetería de Elm Street abre a las 7:30 los domingos.” ¿Qué te dice la redacción fluida sobre la hora?

Paso 4 de 4: Lo que ya puedes hacer

Lo que ya puedes hacer

  • Explicar que un modelo de lenguaje escribe un token a la vez y sortea cada uno según probabilidades.
  • Decir qué cambia la temperatura y qué no.
  • Explicar por qué una respuesta fluida y segura puede estar equivocada.