Arten von Modellen
Chat-, Reasoning-, multimodale, Embedding-, Sprach-, Bild-, Guard- und kleine Modelle sowie Reranker erledigen verschiedene Aufgaben, und ein Agent nutzt oft mehrere davon.
Welche Arten von Modellen Agenten nutzen, woher sie kommen und wie man sie vergleicht. Mit Zahlen, ohne Code.
Für alle, die wissen wollen, was in den Modellen hinter KI-Werkzeugen steckt. Du siehst, wie Text zu Tokens wird, wie ein Modell das nächste wählt, wie Modelle entstehen, wie groß sie sind und was ihre Lizenzen erlauben, und dann wählst du ein Modell für einen Agenten. Die Beispiele stellen geschlossene und offene Modelle nebeneinander, und jede Zahl stammt aus einer datierten Momentaufnahme.
Chat-, Reasoning-, multimodale, Embedding-, Sprach-, Bild-, Guard- und kleine Modelle sowie Reranker erledigen verschiedene Aufgaben, und ein Agent nutzt oft mehrere davon.
Modelle lesen und schreiben Text als Tokens, jede Modellfamilie zerlegt Text auf ihre eigene Weise, und sowohl Preise als auch Kontextgrenzen werden in Tokens gezählt.
Ein Modell gibt jedem möglichen nächsten Token einen Score, macht aus den Scores Wahrscheinlichkeiten und zieht eins zufällig; Temperatur, Top-k und Top-p verändern die Ziehung, und Basis-, Instruct- und Reasoning-Modelle sind darauf trainiert, unterschiedlich zu schreiben.
Ein Modell entsteht in Stufen, von den Daten und dem Pre-Training über Fine-Tuning, Feedback und Destillation bis zur Quantisierung, und bei offenen Modellen hinterlassen viele Stufen eine Datei, die du dir ansehen kannst.
Den Speicher, den ein Modell braucht, bestimmen seine Parameter und die Bits, mit denen jeder gespeichert wird, plus Platz für seinen Kontext; ein Mixture-of-Experts-Modell nutzt für jedes Token nur wenige seiner Parameter, hält aber alle im Speicher.
Manche Modelle lassen sich nur über den Dienst ihres Herstellers nutzen, manche teilen ihre Gewichte unter Lizenzen von streng bis permissiv, und einige wenige sind Open Source, mit ihren Daten und ihrem Code.
Benchmarks und Ranglisten helfen dir, Modelle zu vergleichen, aber Fehlermargen, Aufwandsstufen, Kosten, durchgesickerte Tests, ausgereizte Tests, das Testprogramm und wer den Test durchgeführt hat, ändern alle, was ein Score bedeutet.
Ein Modell wählen heißt: die streichen, die an einer harten Grenze scheitern, und dann Fähigkeit, Tempo, Preis pro Aufgabe, Kontext und Zuverlässigkeit bei Tools für die Arbeit eines Agenten abwägen.