KI-Grundlagen · Kapitel 2 von 8
Wie ein Modell schreibt
Ein Sprachmodell schreibt ein Token nach dem anderen, indem es aus einer Liste von Wahrscheinlichkeiten zieht, die Temperatur ändert, wie es zieht, und nichts in diesem Schritt prüft, ob die Wörter stimmen.
Ziele
- Lies die Wahrscheinlichkeiten für einen Prompt und lass das Modell das wahrscheinlichste Wort nehmen.Offen
- Wähl die nächsten fünf Wörter selbst.Offen
- Schreib bei niedriger und bei hoher Temperatur und sieh zu, wie der Text abdriftet.Offen
- Besteh den Check.Offen
Schritt 1 von 4: Der Text
Ein Stück nach dem anderen
Im letzten Kapitel hat ein Klassifikator aus Beispielen gelernt, Punkte in Klassen einzuteilen. Ein Sprachmodell, die Art von KI hinter Chat-Assistenten, hat aus einer riesigen Menge Text gelernt, eine einzige Sache zu tun: zu einem Text sagen, was wahrscheinlich als Nächstes kommt. Es schreibt, indem es diesen Schritt wiederholt. Es berechnet eine Wahrscheinlichkeit für jedes mögliche nächste Stück, wählt eines, hängt es an den Text an und beginnt von vorn.
Tokens und Wahrscheinlichkeiten
Die Stücke heißen Tokens. Ein Token ist ein kurzes Stück Text: ein Wort, ein Teil eines Worts oder ein Satzzeichen. Eine Wahrscheinlichkeit ist eine Zahl von 0 % bis 100 %, und die Wahrscheinlichkeiten aller möglichen nächsten Tokens ergeben zusammen 100 %. Nach „Das Café öffnet um 8 Uhr am“ bekommt das Token „Morgen“ eine hohe Wahrscheinlichkeit und „Mond“ eine winzige. Der Text, mit dem du anfängst, heißt Prompt.
Temperatur
Das Modell zieht das nächste Token zufällig, gewichtet nach den Wahrscheinlichkeiten, sodass wahrscheinliche Tokens am häufigsten vorkommen. Die Temperatur ist eine Einstellung, die die Wahrscheinlichkeiten vor dem Ziehen umformt. Nahe 0 gewinnt fast immer das wahrscheinlichste Token, und derselbe Prompt ergibt jedes Mal fast denselben Text. Weiter oben werden unwahrscheinliche Tokens öfter gewählt: Der Text variiert stärker und driftet ab einem gewissen Punkt in Unsinn ab.
Flüssig heißt nicht wahr
Jedes Token wird gewählt, weil es wahrscheinlich als Nächstes kommt, nicht weil es wahr ist. Nichts in diesem Schritt prüft eine Tatsache. Ein Modell kann einen flüssigen Satz mit einem falschen Datum, Preis oder Namen schreiben, und eine niedrige Temperatur behebt das nicht: Sie wählt nur die wahrscheinlichsten Wörter. Zu prüfen, was es schreibt, bleibt deine Aufgabe, und ein späteres Kapitel zeigt, wie.
Das Modell auf dieser Seite
Der Explorer unten führt ein winziges Modell aus, das dein Browser beim Öffnen der Seite trainiert, mit zehn Fabeln von Äsop. Seine Tokens sind ganze Wörter und Satzzeichen. Es schaut nur auf die letzten zwei und zählt, was in den Fabeln danach kam. Die Modelle hinter Chat-Assistenten nutzen Tokens, die auch Teile von Wörtern sein können, berücksichtigen viel mehr vom Text und haben Milliarden von Parametern, die Zahlen, die sie beim Lernen anpassen. Der Schritt des Auswählens funktioniert genauso.
Schritt 2 von 4: Probier es aus: Explorer für das nächste Wort
Explorer für das nächste Wort
Lies die Wahrscheinlichkeiten für einen Prompt, wähl selbst Wörter, verschieb dann die Temperatur und sieh zu, wie der Text abdriftet.
Modus:EchtEcht: Dein Browser trainiert das Wortmodell beim Öffnen der Seite mit zehn Fabeln von Äsop, und jede Wahrscheinlichkeit und jede Wahl wird live berechnet. Es ist viel kleiner als die Modelle hinter Chat-Assistenten.
Schritt 3 von 4: Check
Check
Als Nächstes: Frage 2 von 3
Schritt 4 von 4: Was du jetzt kannst
Was du jetzt kannst
- Erklären, dass ein Sprachmodell ein Token nach dem anderen schreibt und jedes aus Wahrscheinlichkeiten zieht.
- Sagen, was die Temperatur verändert und was nicht.
- Erklären, warum eine flüssige, selbstsichere Antwort trotzdem falsch sein kann.