Modelle verstehen · Kapitel 3 von 8
Das nächste Token wählen
Ein Modell gibt jedem möglichen nächsten Token einen Score, macht aus den Scores Wahrscheinlichkeiten und zieht eins zufällig; Temperatur, Top-k und Top-p verändern die Ziehung, und Basis-, Instruct- und Reasoning-Modelle sind darauf trainiert, unterschiedlich zu schreiben.
Ziele
- Sieh dir die 20 wahrscheinlichsten nächsten Tokens für einen Prompt an.Offen
- Verschieb Temperatur und Top-p und zieh noch einmal.Offen
- Stell einem Basismodell und einem Instruct-Modell dieselbe Frage.Offen
- Besteh den Check.Offen
Schritt 1 von 4: Der Text
Ein Token nach dem anderen
Im letzten Kapitel wurde Text zu Tokens. Ein Modell schreibt auf dieselbe Weise: Es liest den ganzen bisherigen Text, wählt ein nächstes Token, hängt es an den Text an und beginnt von vorn. Eine Antwort aus 100 Tokens braucht 100 solcher Schritte.
Aus Scores werden Wahrscheinlichkeiten
Bei jedem Schritt gibt das Modell jedem Token, das es kennt, einen Score, Logit genannt. SmolLM2-360M, das kleine offene Modell in diesem Kapitel, kennt 49.152 Tokens, also gibt es 49.152 Scores. Dann werden die Scores in Chancen umgerechnet, auch Wahrscheinlichkeiten genannt, die zusammen 100 % ergeben. Ein höherer Score bedeutet eine größere Wahrscheinlichkeit: Ein Punkt mehr bedeutet etwa die 2,7-fache Wahrscheinlichkeit.
Ein Zufallszug, mit Einstellungen
Dann wird ein Token zufällig gezogen, nach diesen Wahrscheinlichkeiten, wie ein Los aus einem Beutel, in dem wahrscheinliche Tokens mehr Lose haben. Deshalb kann derselbe Prompt verschiedene Antworten bekommen. Drei Einstellungen verändern die Ziehung. Die Temperatur teilt jeden Score, bevor er zur Wahrscheinlichkeit wird: Unter 1 werden wahrscheinliche Tokens noch wahrscheinlicher, über 1 gleichen sich die Wahrscheinlichkeiten an. Top-k behält nur die k wahrscheinlichsten Tokens. Top-p behält die wahrscheinlichsten Tokens, bis ihre Wahrscheinlichkeiten zusammen p ergeben, also kappt ein Top-p von 0,9 die lange Reihe der unwahrscheinlichen. Was übrig bleibt, wird wieder auf 100 % hochskaliert.
Basis- und Instruct-Modelle
Ein Basismodell hat nur gelernt, Text fortzusetzen, also bekommt eine Frage vielleicht weitere Fragen. Ein Instruct-Modell wurde zusätzlich mit Gesprächen trainiert, geschrieben in einem Chat-Format, das markiert, wer spricht. Es antwortet und schreibt dann ein End-Token, ein besonderes Token, das bedeutet, dass es fertig ist.
Reasoning-Modelle
Ein Reasoning-Modell schreibt zuerst seinen Lösungsweg, auf dieselbe Weise Token für Token, und dann die Antwort. Stand 2026-11-03 machen geschlossene Modelle wie Claude Opus 5.5 und GPT-6.1 Sol das Reasoning zu einer Einstellung, und offene wie DeepSeek-R1 und Olmo 3 7B Think erscheinen als eigene Reasoning-Modelle.
In der Visualisierung
Die Zahlen in der Visualisierung wurden mit SmolLM2-360M und seiner Instruct-Version aufgezeichnet, beide von Hugging Face. Wenn dein Browser WebGPU hat, eine Möglichkeit für Webseiten, die Grafikkarte zu nutzen, kannst du das Instruct-Modell auch herunterladen und live laufen lassen.
Schritt 2 von 4: Probier es aus: Ziehung des nächsten Tokens
Ziehung des nächsten Tokens
Wähl einen Prompt und lies die Wahrscheinlichkeiten, dann form sie und zieh, ein Token nach dem anderen. Zum Schluss stell dem Basis- und dem Instruct-Modell dieselbe Frage.
Modus:EchtEcht, aufgezeichnet: Jeder Score, jede Wahrscheinlichkeit und jede Antwort stammt aus Läufen von SmolLM2-360M und SmolLM2-360M-Instruct auf einem Computer am 2026-11-03, mit Transformers.js von Hugging Face. Die Züge, Temperatur, Top-k und Top-p werden auf dieser Seite aus diesen Zahlen berechnet, und der Text, den du durchgehst, ist der eigene aufgezeichnete Lauf des Basismodells. Die Reasoning-Modelle stammen aus der Momentaufnahme vom 2026-11-03. Auch der Live-Lauf ist echt, nach einem freiwilligen Download von 204 MB.
Schritt 3 von 4: Check
Check
Prompt: The capital of France is
Modell: SmolLM2-360M (Basis)
Nächstes Token Wahrscheinlichkeit
Paris 20,3 %
the 19,6 %
located 10,5 %
situated 4,7 %
called 3,7 %
… 15 weitere, dann der ganze Rest
Temperatur: 1
Top-k: aus
Top-p: 0,5Schritt 4 von 4: Was du jetzt kannst
Was du jetzt kannst
- Erklären, wie ein Modell Scores in Wahrscheinlichkeiten umrechnet und das nächste Token zieht.
- Sagen, was Temperatur, Top-k und Top-p mit den Wahrscheinlichkeiten machen.
- Die Ausgabe eines Basismodells von der eines Instruct-Modells unterscheiden und sagen, was ein Reasoning-Modell hinzufügt.