Modelle verstehen · Kapitel 2 von 8
Tokens
Modelle lesen und schreiben Text als Tokens, jede Modellfamilie zerlegt Text auf ihre eigene Weise, und sowohl Preise als auch Kontextgrenzen werden in Tokens gezählt.
Ziele
- Zerleg einen Satz mit den Tokenizern von sechs Modellfamilien.Offen
- Wechsle zu Spanisch, Japanisch und Code und vergleiche die Zahlen.Offen
- Besteh den Check.Offen
Schritt 1 von 4: Der Text
Aus Text werden Tokens
Im letzten Kapitel hast du viele Arten von Modellen kennengelernt. Die, die mit Text arbeiten, fangen alle gleich an. Ein Tokenizer, ein kleines Programm, das zu jedem Modell gehört, zerlegt den Text in Tokens: Stücke, die oft ein ganzes Wort mit dem Leerzeichen davor sind und manchmal ein Teil eines Worts, ein Symbol oder eine Ziffer. Jedes Token wird dann gegen eine Zahl getauscht, seine Token-ID. Das Modell liest nur diese Zahlen. Wenn es schreibt, gibt es Token-IDs zurück, und der Tokenizer macht daraus Text.
Jede Familie hat ihr eigenes Vokabular
Die Liste der Stücke, die ein Tokenizer kennt, ist sein Vokabular. Es entsteht aus einer großen Textprobe, bevor das Modell trainiert wird: Stücke, die dort oft vorkommen, werden jeweils zu einem Token. Jede Modellfamilie, etwa GPT, Llama oder Qwen, hat ihren eigenen Tokenizer, und eine neue Generation bekommt vielleicht einen neuen. Die sechs im Lab kennen zwischen 32.768 und 262.144 Stücke.
Ein Wort, das nicht im Vokabular steht, wird aus kleineren Stücken gebaut. Ganz am Ende stehen Bytes, die kleinen Codes, mit denen ein Computer jedes Zeichen speichert. Ein japanisches Schriftzeichen oder ein Emoji braucht drei oder vier Bytes, also braucht ein Tokenizer, dem es fehlt, mehrere Tokens für ein einziges Zeichen.
Warum die Anzahl wichtig ist
Anbieter berechnen ihre Modelle pro Million Tokens: die Tokens, die du sendest, genannt Eingabe, und die Tokens, die das Modell schreibt, genannt Ausgabe. Auch das Kontextfenster eines Modells, die größte Textmenge, die es auf einmal aufnehmen kann, wird in Tokens gezählt. Text, der mehr Tokens braucht, kostet mehr und füllt das Fenster früher. Im Lab braucht dieselbe Anfrage in jeder Familie auf Spanisch und Japanisch mehr Tokens als auf Englisch, und bei Code und Emoji passen weniger Zeichen in jedes Token als bei Englisch.
Was im Lab steckt
Sechs Tokenizer: der von OpenAI für GPT-4o, ein geschlossenes Modell, und die von fünf Familien mit offenen Gewichten, deren Modelldateien veröffentlicht sind: Gemma 4 von Google, Llama 3 von Meta, Qwen3, DeepSeek-V3 und Mistral v3. Ihre Zerlegungen wurden mit ihren echten Tokenizer-Dateien aufgezeichnet. Der letzte Schritt ist optional: Er lädt die Dateien herunter, die du auswählst, zeigt vorher ihre Größe und zerlegt deinen eigenen Text auf dieser Seite.
Schritt 2 von 4: Probier es aus: Tokenizer-Lab
Tokenizer-Lab
Zerleg einen Satz mit sechs Tokenizern, dann wechsle den Text und sieh zu, wie sich die Zahlen ändern.
Modus:EchtEcht: Jede Zerlegung wurde am 2026-11-03 mit der Tokenizer-Datei jeder Familie und @huggingface/tokenizers 0.2.0 aufgezeichnet, und der optionale letzte Schritt führt dieselben Dateien live auf dieser Seite aus, sobald du dich entscheidest, sie herunterzuladen. Vokabulargrößen, Kontextfenster und Preise stammen aus der Momentaufnahme vom 2026-11-03.
Schritt 3 von 4: Check
Check
Tischreservierungsbestätigungsnachricht
1 Wort, 39 Buchstaben
GPT-4o-Tokens: ?Schritt 4 von 4: Was du jetzt kannst
Was du jetzt kannst
- Erklären, was ein Tokenizer, ein Token und ein Vokabular sind.
- Sagen, warum derselbe Text in zwei Modellfamilien eine unterschiedliche Zahl von Tokens sein kann.
- Erklären, warum Preise und Kontextfenster von der Zahl der Tokens abhängen und warum andere Sprachen, Code und Emoji oft mehr kosten.