Comprendre les modèles · Chapitre 5 sur 8
Taille et mémoire
La mémoire dont un modèle a besoin dépend de ses paramètres et des bits qui stockent chacun d'eux, plus de la place pour son contexte ; un mélange d'experts utilise quelques-uns de ses paramètres pour chaque token, mais les garde tous en mémoire.
Objectifs
- Faire descendre Llama-3.1-8B jusqu'à un type 4 bits et voir son fichier rétrécir.À faire
- Vérifier quelles versions tiennent dans 8, 16, 24 et 80 Go.À faire
- Comparer les paramètres totaux et actifs de trois modèles à mélange d'experts.À faire
- Réussir le test.À faire
Étape 1 sur 4 : La lecture
Les paramètres prennent de la mémoire
Au chapitre 1, vous avez découvert les paramètres, les nombres qu'un modèle a appris, aussi appelés poids. Un nom en donne souvent le nombre : Llama-3.1-8B en a environ 8 milliards. Pour tourner, un modèle doit garder tous ses poids en mémoire : le stockage rapide avec lequel travaille un ordinateur, ou la mémoire d'une carte graphique (un GPU, une puce qui fait beaucoup de calculs à la fois). La mémoire se compte en octets, et un octet fait 8 bits. Les poids demandent donc paramètres × bits par poids ÷ 8 octets. À 16 bits chacun, 8 milliards de poids prennent 16 Go, soit 16 milliards d'octets.
Moins de bits, un peu moins bien
La quantification, vue au chapitre 4, stocke chaque poids sur moins de bits. Moins de bits peuvent contenir moins de valeurs, donc chaque poids est arrondi plus grossièrement : le fichier rétrécit, et les réponses deviennent un peu moins bonnes, surtout avec le moins de bits. Le visuel utilise des mesures de llama.cpp, un programme gratuit qui fait tourner des modèles sur votre propre ordinateur. Les noms de ses types donnent les bits : Q4_K_M garde la plupart des poids sur 4 bits et certains sur plus, plus un petit supplément pour chaque bloc de poids : 4,89 bits en moyenne. Il donne les tailles en Gio : 1 Gio vaut 1 073 741 824 octets, environ 7 % de plus que 1 Go.
De la place pour travailler
Un modèle tient quand ses poids, plus un peu de place, tiennent dans la mémoire dont vous disposez. Sur un ordinateur portable, cette mémoire est partagée avec tout ce qui tourne par ailleurs. La place sert au contexte : pendant qu'un modèle travaille, il garde ce qu'il a calculé pour chaque token, et cette réserve grandit à chaque token, jusqu'à la fenêtre de contexte du chapitre 2.
Beaucoup d'experts, quelques-uns à la fois
Un modèle à mélange d'experts divise la plupart de ses couches en experts, des groupes de poids plus petits. Pour chaque token, une petite partie appelée routeur choisit quelques experts, et seuls ceux-là travaillent. Leurs paramètres, plus les parties que chaque token utilise, sont les paramètres actifs ; tous ensemble forment le total. Un token demande à peu près autant de travail que dans un modèle de la taille active, mais le routeur peut choisir n'importe quel expert pour le token suivant, donc le total doit être en mémoire.
Fermés et ouverts
Les modèles fermés comme Claude, GPT, Gemini et Grok ne publient pas leurs poids, et leurs pages ne donnent pas leur nombre de paramètres, donc chaque nombre de paramètres du visuel vient de la page d'un modèle ouvert, à la date du 2026-11-03.
Étape 2 sur 4 : Essayez : Est-ce que ça tient ?
Est-ce que ça tient ?
Faites passer un modèle à moins de bits, essayez quatre tailles de mémoire, puis voyez quelle part d'un grand modèle travaille pour chaque token.
Mode :RéelSimuléRéel : les tailles mesurées par llama.cpp pour Llama-3.1-8B, et chaque nombre de paramètres, nombre d'experts et fenêtre de contexte, tirés des pages des créateurs dans un instantané daté du 2026-11-03. Les autres tailles sont calculées dans cette page avec la formule. Simulé : ici, les experts qui s'allument pour un token sont tirés au hasard ; un vrai routeur les choisit d'après le token.
Étape 3 sur 4 : Vérification
Vérification
Modèle : gpt-oss-120b, poids ouverts
Total : 117 milliards de paramètres
Actifs : 5,1 milliards par token
Chiffres : fiche du modèle, 2026-11-03
Quantifié : 4,9 bits par poids
Mémoire : 8 Go · 16 Go · 24 Go · 80 GoÉtape 4 sur 4 : Ce que vous savez faire maintenant
Ce que vous savez faire maintenant
- Estimer la mémoire dont les poids d'un modèle ont besoin à partir de ses paramètres et de ses bits par poids.
- Dire ce que la quantification fait gagner et ce qu'elle coûte.
- Dire si un modèle tient dans une mémoire donnée, avec de la place pour son contexte.
- Expliquer les paramètres totaux et actifs d'un mélange d'experts, et pourquoi le total fixe la mémoire.