Les agents pour tous · Chapitre 4 sur 8
Mémoire et contexte
Ce qu'un agent peut voir à chaque étape est limité, donc ce qu'il garde, abandonne et note décide de ce qu'il sait.
Objectifs
- Remplir le contexte jusqu'à ce que les premiers messages en sortent.À faire
- Enregistrer le bon fait pour que l'agent réponde correctement plus tard.À faire
- Réussir la vérification.À faire
Étape 1 sur 4 : La lecture
Ce que lit le modèle
Chaque fois que le modèle décide d'une étape, il lit un bloc de texte appelé le contexte : votre demande, la conversation jusque-là et ce que les outils ont renvoyé. C'est tout ce dont il dispose. Si quelque chose n'est pas dans le contexte, le modèle ne le sait pas pour cette étape.
Un bureau à la place limitée
Le contexte a une taille limite, comptée en tokens. Un token est un morceau de mot : un mot court fait environ un token, et en anglais un token fait environ quatre caractères. Les limites varient selon les modèles, de quelques milliers de tokens à un million ou plus, mais il y en a toujours une.
Imaginez le contexte comme un bureau. On ne peut y poser qu'une certaine quantité de papier à la fois.
Quand le bureau est plein
Une longue conversation remplit le bureau. Alors quelque chose doit partir : les messages les plus anciens sont retirés, ou plusieurs sont remplacés par un court résumé. Ce qui est retiré, l'agent ne le sait plus, même si vous le lui aviez dit plus tôt.
La mémoire : un carnet à côté du bureau
La mémoire est autre chose. Ce sont des notes que l'agent écrit quelque part hors du contexte, comme un fichier, et qu'il relit quand il en a besoin. Une note survit quand le bureau est débarrassé, mais seulement si l'agent l'a enregistrée, et seulement la partie qu'il a choisi de noter.
Plus n'est pas toujours mieux
Un contexte encombré prend plus de temps à lire, coûte plus cher et peut noyer le seul fait qui compte. Les bons agents gardent sur le bureau ce dont l'étape suivante a besoin, et écrivent le reste dans le carnet.
Étape 2 sur 4 : Essayez : Un bureau à la place limitée
Un bureau à la place limitée
Remplissez le bureau jusqu'à ce que les messages les plus anciens en sortent, et voyez ce que l'agent oublie. Puis recommencez, enregistrez un fait dans le carnet et posez de nouveau la question.
Mode :SimuléSimulé : la conversation, les réponses et la petite limite du bureau sont écrites à l'avance, et aucune IA ne tourne. Le nombre de tokens est estimé à partir du texte affiché (caractères ÷ 4).
Étape 3 sur 4 : Vérification
Vérification
Ensuite : Question 2 sur 3
Étape 4 sur 4 : Ce que vous savez faire maintenant
Ce que vous savez faire maintenant
- Expliquer ce qu'est un contexte et pourquoi il a une limite.
- Dire ce qui se passe quand il est plein.
- Distinguer le contexte de la mémoire, et dire pourquoi il compte d'enregistrer les bons faits.