Aller au contenu
Retour à Principes de l'IA

Principes de l'IA · Chapitre 2 sur 8

Comment un modèle écrit

Un modèle de langage écrit un token à la fois en le tirant au sort dans une liste de probabilités, la température change la façon de tirer, et rien dans cette étape ne vérifie si les mots sont vrais.

14 minutes0 objectifs sur 4 atteints

Objectifs

  • Lire les probabilités pour un prompt et laisser le modèle prendre le mot le plus probable.À faire
  • Choisir vous-même les cinq mots suivants.À faire
  • Écrire à basse et à haute température et voir le texte dériver.À faire
  • Réussir la vérification.À faire

Étape 1 sur 4 : La lecture

Un morceau à la fois

Au chapitre précédent, un classifieur a appris à partir d'exemples à ranger des points par catégorie. Un modèle de langage, le type d'IA derrière les assistants conversationnels, a appris d'une immense quantité de texte à faire une seule chose : à partir d'un texte, dire ce qui a des chances de venir ensuite. Il écrit en répétant cette étape. Il calcule une probabilité pour chaque morceau suivant possible, en choisit un, l'ajoute au texte et recommence.

Tokens et probabilités

Ces morceaux s'appellent des tokens. Un token est un court morceau de texte : un mot, une partie de mot ou un signe de ponctuation. Une probabilité est un nombre de 0 % à 100 %, et les probabilités de tous les tokens suivants possibles font 100 % au total. Après « Le café ouvre à 8 h du », le token « matin » reçoit une probabilité élevée et « lune » une probabilité infime. Le texte de départ s'appelle le prompt.

Température

Le modèle tire le token suivant au sort, en pondérant par les probabilités, si bien que les tokens probables sortent le plus souvent. La température est un réglage qui remodèle les probabilités avant le tirage. Près de 0, le token le plus probable gagne presque toujours, et le même prompt donne presque le même texte à chaque fois. Plus haut, les tokens peu probables sont choisis plus souvent : le texte varie davantage et, au-delà d'un certain point, dérive vers le non-sens.

Fluide ne veut pas dire vrai

Chaque token est choisi parce qu'il a des chances de venir ensuite, pas parce qu'il est vrai. Rien dans cette étape ne vérifie un fait. Un modèle peut écrire une phrase fluide avec une date, un prix ou un nom faux, et une basse température n'y change rien : elle ne fait que choisir les mots les plus probables. Vérifier ce qu'il écrit reste votre travail, et un chapitre suivant montre comment.

Le modèle de cette page

L'explorateur ci-dessous fait tourner un tout petit modèle que votre navigateur entraîne à l'ouverture de la page, sur dix fables d'Ésope. Ses tokens sont des mots entiers et des signes de ponctuation. Il ne regarde que les deux derniers et compte ce qui les suivait dans les fables. Les modèles derrière les assistants conversationnels utilisent des tokens qui peuvent être des parties de mots, prennent en compte bien plus de texte et ont des milliards de paramètres, les nombres qu'ils ajustent en apprenant. L'étape du choix fonctionne de la même façon.

Étape 2 sur 4 : Essayez : Explorateur du mot suivant

Explorateur du mot suivant

Lisez les probabilités pour un prompt, choisissez des mots vous-même, puis déplacez la température et regardez le texte dériver.

Mode :RéelRéel : votre navigateur entraîne le modèle de mots sur dix fables d'Ésope à l'ouverture de la page, et chaque probabilité et chaque choix sont calculés en direct. Il est bien plus petit que les modèles derrière les assistants conversationnels.

Étape 3 sur 4 : Vérification

Vérification

Question 1 sur 3Vous tapez « Notre train pour la côte part à » et un modèle continue le texte. Que fait-il ?

Ensuite : Question 2 sur 3

Question 2 sur 3Vous posez deux fois la même question à un modèle avec une haute température. À quoi devez-vous vous attendre ?
Question 3 sur 3Un modèle écrit, avec aisance et sans réserve : « Le café d'Elm Street ouvre à 7 h 30 le dimanche. » Que vous dit cette formulation fluide sur l'horaire ?

Étape 4 sur 4 : Ce que vous savez faire maintenant

Ce que vous savez faire maintenant

  • Expliquer qu'un modèle de langage écrit un token à la fois, en tirant chacun au sort selon des probabilités.
  • Dire ce que la température change, et ce qu'elle ne change pas.
  • Expliquer pourquoi une réponse fluide et assurée peut quand même être fausse.