Zum Inhalt springen
Zurück zu Agenten für alle

Agenten für alle · Kapitel 4 von 8

Gedächtnis und Kontext

Was ein Agent bei jedem Schritt sehen kann, ist begrenzt. Was er behält, verwirft und aufschreibt, bestimmt also, was er weiß.

12 Minuten0 von 3 Zielen erreicht

Ziele

  • Füll den Kontext, bis die frühesten Nachrichten herausfallen.Offen
  • Speichere die richtige Information, damit der Agent später richtig antwortet.Offen
  • Besteh den Check.Offen

Schritt 1 von 4: Der Text

Was das Modell liest

Jedes Mal, wenn das Modell einen Schritt entscheidet, liest es einen Textblock, den Kontext: deine Anfrage, die bisherige Unterhaltung und was die Tools zurückgegeben haben. Mehr hat es nicht. Steht etwas nicht im Kontext, weiß das Modell es für diesen Schritt nicht.

Ein Schreibtisch mit wenig Platz

Der Kontext hat eine Größengrenze, gezählt in Token. Ein Token ist ein Stück eines Worts: Ein kurzes Wort ist etwa ein Token, und im Englischen ist ein Token etwa vier Zeichen lang. Die Grenzen unterscheiden sich je nach Modell, von ein paar Tausend Token bis zu einer Million oder mehr, aber es gibt immer eine.

Stell dir den Kontext als Schreibtisch vor. Nur so viel Papier passt gleichzeitig darauf.

Wenn der Schreibtisch voll ist

Eine lange Unterhaltung füllt den Schreibtisch. Dann muss etwas weg: Die ältesten Nachrichten werden verworfen, oder mehrere werden durch eine kurze Zusammenfassung ersetzt. Was verworfen wird, weiß der Agent nicht mehr, auch wenn du es ihm früher gesagt hast.

Gedächtnis: ein Notizbuch neben dem Schreibtisch

Gedächtnis ist etwas anderes. Es sind Notizen, die der Agent irgendwo außerhalb des Kontexts schreibt, etwa in eine Datei, und wieder liest, wenn sie gebraucht werden. Eine Notiz übersteht das Aufräumen des Schreibtischs, aber nur, wenn der Agent sie gespeichert hat, und nur der Teil, den er aufschreiben wollte.

Mehr ist nicht immer besser

Ein voller Kontext braucht länger zum Lesen, kostet mehr und kann die eine Information begraben, auf die es ankommt. Gute Agenten lassen auf dem Schreibtisch, was der nächste Schritt braucht, und schreiben den Rest ins Notizbuch.

Schritt 2 von 4: Probier es aus: Ein Schreibtisch mit wenig Platz

Ein Schreibtisch mit wenig Platz

Füll den Schreibtisch, bis die ältesten Nachrichten herunterfallen, und sieh, was der Agent vergisst. Fang dann neu an, speichere eine Information im Notizbuch und frag noch einmal.

Modus:SimuliertSimuliert: Die Unterhaltung, die Antworten und das kleine Limit des Schreibtischs sind vorgegeben, und keine KI läuft. Die Token-Zahlen werden aus dem angezeigten Text geschätzt (Zeichen ÷ 4).

Schritt 3 von 4: Check

Check

Frage 1 von 3Was steht für einen Schritt im Kontext eines Agenten?

Als Nächstes: Frage 2 von 3

Frage 2 von 3Der Kontext ist voll, und eine neue Nachricht kommt an. Was passiert meistens?
Frage 3 von 3Wie unterscheidet sich Gedächtnis vom Kontext?

Schritt 4 von 4: Was du jetzt kannst

Was du jetzt kannst

  • Erklären, was ein Kontext ist und warum er eine Grenze hat.
  • Sagen, was passiert, wenn er voll wird.
  • Kontext von Gedächtnis unterscheiden und sagen, warum es zählt, die richtigen Informationen zu speichern.