Zum Inhalt springen
Zurück zu KI-Grundlagen

KI-Grundlagen · Kapitel 2 von 8

Wie ein Modell schreibt

Ein Sprachmodell schreibt ein Token nach dem anderen, indem es aus einer Liste von Wahrscheinlichkeiten zieht, die Temperatur ändert, wie es zieht, und nichts in diesem Schritt prüft, ob die Wörter stimmen.

14 Minuten0 von 4 Zielen erreicht

Ziele

  • Lies die Wahrscheinlichkeiten für einen Prompt und lass das Modell das wahrscheinlichste Wort nehmen.Offen
  • Wähl die nächsten fünf Wörter selbst.Offen
  • Schreib bei niedriger und bei hoher Temperatur und sieh zu, wie der Text abdriftet.Offen
  • Besteh den Check.Offen

Schritt 1 von 4: Der Text

Ein Stück nach dem anderen

Im letzten Kapitel hat ein Klassifikator aus Beispielen gelernt, Punkte in Klassen einzuteilen. Ein Sprachmodell, die Art von KI hinter Chat-Assistenten, hat aus einer riesigen Menge Text gelernt, eine einzige Sache zu tun: zu einem Text sagen, was wahrscheinlich als Nächstes kommt. Es schreibt, indem es diesen Schritt wiederholt. Es berechnet eine Wahrscheinlichkeit für jedes mögliche nächste Stück, wählt eines, hängt es an den Text an und beginnt von vorn.

Tokens und Wahrscheinlichkeiten

Die Stücke heißen Tokens. Ein Token ist ein kurzes Stück Text: ein Wort, ein Teil eines Worts oder ein Satzzeichen. Eine Wahrscheinlichkeit ist eine Zahl von 0 % bis 100 %, und die Wahrscheinlichkeiten aller möglichen nächsten Tokens ergeben zusammen 100 %. Nach „Das Café öffnet um 8 Uhr am“ bekommt das Token „Morgen“ eine hohe Wahrscheinlichkeit und „Mond“ eine winzige. Der Text, mit dem du anfängst, heißt Prompt.

Temperatur

Das Modell zieht das nächste Token zufällig, gewichtet nach den Wahrscheinlichkeiten, sodass wahrscheinliche Tokens am häufigsten vorkommen. Die Temperatur ist eine Einstellung, die die Wahrscheinlichkeiten vor dem Ziehen umformt. Nahe 0 gewinnt fast immer das wahrscheinlichste Token, und derselbe Prompt ergibt jedes Mal fast denselben Text. Weiter oben werden unwahrscheinliche Tokens öfter gewählt: Der Text variiert stärker und driftet ab einem gewissen Punkt in Unsinn ab.

Flüssig heißt nicht wahr

Jedes Token wird gewählt, weil es wahrscheinlich als Nächstes kommt, nicht weil es wahr ist. Nichts in diesem Schritt prüft eine Tatsache. Ein Modell kann einen flüssigen Satz mit einem falschen Datum, Preis oder Namen schreiben, und eine niedrige Temperatur behebt das nicht: Sie wählt nur die wahrscheinlichsten Wörter. Zu prüfen, was es schreibt, bleibt deine Aufgabe, und ein späteres Kapitel zeigt, wie.

Das Modell auf dieser Seite

Der Explorer unten führt ein winziges Modell aus, das dein Browser beim Öffnen der Seite trainiert, mit zehn Fabeln von Äsop. Seine Tokens sind ganze Wörter und Satzzeichen. Es schaut nur auf die letzten zwei und zählt, was in den Fabeln danach kam. Die Modelle hinter Chat-Assistenten nutzen Tokens, die auch Teile von Wörtern sein können, berücksichtigen viel mehr vom Text und haben Milliarden von Parametern, die Zahlen, die sie beim Lernen anpassen. Der Schritt des Auswählens funktioniert genauso.

Schritt 2 von 4: Probier es aus: Explorer für das nächste Wort

Explorer für das nächste Wort

Lies die Wahrscheinlichkeiten für einen Prompt, wähl selbst Wörter, verschieb dann die Temperatur und sieh zu, wie der Text abdriftet.

Modus:EchtEcht: Dein Browser trainiert das Wortmodell beim Öffnen der Seite mit zehn Fabeln von Äsop, und jede Wahrscheinlichkeit und jede Wahl wird live berechnet. Es ist viel kleiner als die Modelle hinter Chat-Assistenten.

Schritt 3 von 4: Check

Check

Frage 1 von 3Du tippst „Unser Zug an die Küste fährt um“, und ein Modell setzt den Text fort. Was macht es?

Als Nächstes: Frage 2 von 3

Frage 2 von 3Du stellst einem Modell zweimal dieselbe Frage bei hoher Temperatur. Womit solltest du rechnen?
Frage 3 von 3Ein Modell schreibt flüssig und ohne Einschränkung: „Das Café in der Elm Street öffnet sonntags um 7:30 Uhr.“ Was sagt dir die flüssige Formulierung über die Uhrzeit?

Schritt 4 von 4: Was du jetzt kannst

Was du jetzt kannst

  • Erklären, dass ein Sprachmodell ein Token nach dem anderen schreibt und jedes aus Wahrscheinlichkeiten zieht.
  • Sagen, was die Temperatur verändert und was nicht.
  • Erklären, warum eine flüssige, selbstsichere Antwort trotzdem falsch sein kann.