Agenten für alle · Kapitel 4 von 8
Gedächtnis und Kontext
Was ein Agent bei jedem Schritt sehen kann, ist begrenzt. Was er behält, verwirft und aufschreibt, bestimmt also, was er weiß.
Ziele
- Füll den Kontext, bis die frühesten Nachrichten herausfallen.Offen
- Speichere die richtige Information, damit der Agent später richtig antwortet.Offen
- Besteh den Check.Offen
Schritt 1 von 4: Der Text
Was das Modell liest
Jedes Mal, wenn das Modell einen Schritt entscheidet, liest es einen Textblock, den Kontext: deine Anfrage, die bisherige Unterhaltung und was die Tools zurückgegeben haben. Mehr hat es nicht. Steht etwas nicht im Kontext, weiß das Modell es für diesen Schritt nicht.
Ein Schreibtisch mit wenig Platz
Der Kontext hat eine Größengrenze, gezählt in Token. Ein Token ist ein Stück eines Worts: Ein kurzes Wort ist etwa ein Token, und im Englischen ist ein Token etwa vier Zeichen lang. Die Grenzen unterscheiden sich je nach Modell, von ein paar Tausend Token bis zu einer Million oder mehr, aber es gibt immer eine.
Stell dir den Kontext als Schreibtisch vor. Nur so viel Papier passt gleichzeitig darauf.
Wenn der Schreibtisch voll ist
Eine lange Unterhaltung füllt den Schreibtisch. Dann muss etwas weg: Die ältesten Nachrichten werden verworfen, oder mehrere werden durch eine kurze Zusammenfassung ersetzt. Was verworfen wird, weiß der Agent nicht mehr, auch wenn du es ihm früher gesagt hast.
Gedächtnis: ein Notizbuch neben dem Schreibtisch
Gedächtnis ist etwas anderes. Es sind Notizen, die der Agent irgendwo außerhalb des Kontexts schreibt, etwa in eine Datei, und wieder liest, wenn sie gebraucht werden. Eine Notiz übersteht das Aufräumen des Schreibtischs, aber nur, wenn der Agent sie gespeichert hat, und nur der Teil, den er aufschreiben wollte.
Mehr ist nicht immer besser
Ein voller Kontext braucht länger zum Lesen, kostet mehr und kann die eine Information begraben, auf die es ankommt. Gute Agenten lassen auf dem Schreibtisch, was der nächste Schritt braucht, und schreiben den Rest ins Notizbuch.
Schritt 2 von 4: Probier es aus: Ein Schreibtisch mit wenig Platz
Ein Schreibtisch mit wenig Platz
Füll den Schreibtisch, bis die ältesten Nachrichten herunterfallen, und sieh, was der Agent vergisst. Fang dann neu an, speichere eine Information im Notizbuch und frag noch einmal.
Modus:SimuliertSimuliert: Die Unterhaltung, die Antworten und das kleine Limit des Schreibtischs sind vorgegeben, und keine KI läuft. Die Token-Zahlen werden aus dem angezeigten Text geschätzt (Zeichen ÷ 4).
Schritt 3 von 4: Check
Check
Als Nächstes: Frage 2 von 3
Schritt 4 von 4: Was du jetzt kannst
Was du jetzt kannst
- Erklären, was ein Kontext ist und warum er eine Grenze hat.
- Sagen, was passiert, wenn er voll wird.
- Kontext von Gedächtnis unterscheiden und sagen, warum es zählt, die richtigen Informationen zu speichern.