モデルを理解する · 第5章(全8章)
サイズとメモリ
モデルに必要なメモリは、パラメータの数と1つずつを保存するビット数、それにコンテキスト用の余裕で決まり、MoE(Mixture of Experts)モデルは、トークンごとにパラメータの一部しか使いませんが、すべてをメモリに置いておきます。
目標
- Llama-3.1-8Bを4ビットの型までスライドさせ、ファイルが小さくなるのを見ましょう。未完了
- 8、16、24、80 GBに、どのバージョンが収まるかを確かめましょう。未完了
- 3つのMoEモデルで、総パラメータ数とアクティブなパラメータ数を比べましょう。未完了
- 確認問題に合格しましょう。未完了
ステップ1/4: 本文
パラメータはメモリを使う
第1章で、モデルが学習した数値であるパラメータ(重みとも呼びます)に出会いました。その数は名前に書かれていることがよくあります:Llama-3.1-8Bは約80億個(8B、Bはbillionで10億)です。動かすには、モデルはすべての重みをメモリに置く必要があります:コンピュータが作業に使う高速な記憶領域か、グラフィックカード(GPU、たくさんの計算を同時に行うチップ)のメモリです。メモリはバイトで数え、1バイトは8ビットです。つまり、重みには「パラメータ数 × 1重みあたりのビット数 ÷ 8」バイトが必要です。1つ16ビットなら、80億個の重みは16 GB、160億バイトになります。
ビットを減らすと、少し悪くなる
第4章で見た量子化は、それぞれの重みをより少ないビットで保存します。ビットが少ないほど表せる値も少なくなるので、それぞれの重みはより粗く丸められます:ファイルは小さくなり、答えは少し悪くなり、ビットが最も少ないときにはさらに悪くなります。このビジュアルは、自分のコンピュータでモデルを動かす無料のプログラム、llama.cppの測定値を使います。その型の名前がビット数を表します:Q4_K_Mはほとんどの重みを4ビットで、一部をそれより多いビットで保存し、重みのブロックごとに少し余分な情報を加えるので、平均4.89ビットになります。サイズはGiBで示されます:1 GiBは1,073,741,824バイトで、1 GBより約7%大きい値です。
作業のための余裕
重みに少し余裕を足した分が手元のメモリに収まれば、モデルは収まります。ノートパソコンでは、そのメモリをほかに動いているものすべてと分け合います。余裕はコンテキストのためのものです:モデルは作業中、トークンごとに計算した結果を保持し、その保存分はトークンが増えるたびに、第2章のコンテキストウィンドウまで大きくなります。
多くのエキスパート、使うのは少しずつ
MoEモデルは、ほとんどの層をエキスパート(重みの小さなグループ)に分けています。トークンごとに、ルーターと呼ばれる小さな部分がいくつかのエキスパートを選び、選ばれたものだけが働きます。それらのパラメータに、どのトークンも使う部分を足したものがアクティブパラメータで、全部を合わせたものが総数です。1トークンにかかる作業量は、アクティブな大きさのモデルとほぼ同じですが、ルーターは次のトークンにどのエキスパートを選ぶかわからないので、総数をメモリに置く必要があります。
クローズドとオープン
Claude、GPT、Gemini、Grokなどのクローズドなモデルは重みを公開しておらず、モデルのページにもパラメータ数が載っていないので、ビジュアルのパラメータ数はすべて、オープンなモデルのそれぞれのページから取ったもの(2026-11-03時点)です。
ステップ2/4: 試す:収まるか
収まるか
1つのモデルをより少ないビットにスライドさせ、4つのメモリサイズを試し、大きなモデルのどれだけがトークンごとに働くかを見ます。
モード:本物シミュレーション本物:llama.cppが測定したLlama-3.1-8Bのサイズと、すべてのパラメータ数、エキスパート数、コンテキストウィンドウ(2026-11-03のスナップショットにある、開発元自身のページから)。そのほかのサイズは、このページで式を使って計算しています。シミュレーション:ここでは、トークンごとにどのエキスパートが点灯するかはランダムで、実際のルーターはトークンをもとに選びます。
ステップ3/4: 確認問題
確認問題
モデル: gpt-oss-120b、オープンウェイト
総数: 1170億パラメータ
アクティブ: トークンごとに51億
数値の出典: モデルカード、2026-11-03
量子化: 1重みあたり4.9ビット
メモリ: 8 GB · 16 GB · 24 GB · 80 GBステップ4/4: これでできること
これでできること
- パラメータ数と1重みあたりのビット数から、モデルの重みに必要なメモリを見積もる。
- 量子化で何が節約でき、何が失われるかを説明する。
- コンテキスト用の余裕を残して、モデルがあるメモリに収まるかを判断する。
- MoEの総パラメータとアクティブパラメータを説明し、なぜ総数がメモリを決めるのかを説明する。