本文へスキップ
モデルを理解するに戻る

モデルを理解する · 第5章(全8章)

サイズとメモリ

モデルに必要なメモリは、パラメータの数と1つずつを保存するビット数、それにコンテキスト用の余裕で決まり、MoE(Mixture of Experts)モデルは、トークンごとにパラメータの一部しか使いませんが、すべてをメモリに置いておきます。

15分4個中0個の目標を達成

目標

  • Llama-3.1-8Bを4ビットの型までスライドさせ、ファイルが小さくなるのを見ましょう。未完了
  • 8、16、24、80 GBに、どのバージョンが収まるかを確かめましょう。未完了
  • 3つのMoEモデルで、総パラメータ数とアクティブなパラメータ数を比べましょう。未完了
  • 確認問題に合格しましょう。未完了

ステップ1/4: 本文

パラメータはメモリを使う

第1章で、モデルが学習した数値であるパラメータ(重みとも呼びます)に出会いました。その数は名前に書かれていることがよくあります:Llama-3.1-8Bは約80億個(8B、Bはbillionで10億)です。動かすには、モデルはすべての重みをメモリに置く必要があります:コンピュータが作業に使う高速な記憶領域か、グラフィックカード(GPU、たくさんの計算を同時に行うチップ)のメモリです。メモリはバイトで数え、1バイトは8ビットです。つまり、重みには「パラメータ数 × 1重みあたりのビット数 ÷ 8」バイトが必要です。1つ16ビットなら、80億個の重みは16 GB、160億バイトになります。

ビットを減らすと、少し悪くなる

第4章で見た量子化は、それぞれの重みをより少ないビットで保存します。ビットが少ないほど表せる値も少なくなるので、それぞれの重みはより粗く丸められます:ファイルは小さくなり、答えは少し悪くなり、ビットが最も少ないときにはさらに悪くなります。このビジュアルは、自分のコンピュータでモデルを動かす無料のプログラム、llama.cppの測定値を使います。その型の名前がビット数を表します:Q4_K_Mはほとんどの重みを4ビットで、一部をそれより多いビットで保存し、重みのブロックごとに少し余分な情報を加えるので、平均4.89ビットになります。サイズはGiBで示されます:1 GiBは1,073,741,824バイトで、1 GBより約7%大きい値です。

作業のための余裕

重みに少し余裕を足した分が手元のメモリに収まれば、モデルは収まります。ノートパソコンでは、そのメモリをほかに動いているものすべてと分け合います。余裕はコンテキストのためのものです:モデルは作業中、トークンごとに計算した結果を保持し、その保存分はトークンが増えるたびに、第2章のコンテキストウィンドウまで大きくなります。

多くのエキスパート、使うのは少しずつ

MoEモデルは、ほとんどの層をエキスパート(重みの小さなグループ)に分けています。トークンごとに、ルーターと呼ばれる小さな部分がいくつかのエキスパートを選び、選ばれたものだけが働きます。それらのパラメータに、どのトークンも使う部分を足したものがアクティブパラメータで、全部を合わせたものが総数です。1トークンにかかる作業量は、アクティブな大きさのモデルとほぼ同じですが、ルーターは次のトークンにどのエキスパートを選ぶかわからないので、総数をメモリに置く必要があります。

クローズドとオープン

Claude、GPT、Gemini、Grokなどのクローズドなモデルは重みを公開しておらず、モデルのページにもパラメータ数が載っていないので、ビジュアルのパラメータ数はすべて、オープンなモデルのそれぞれのページから取ったもの(2026-11-03時点)です。

ステップ2/4: 試す:収まるか

収まるか

1つのモデルをより少ないビットにスライドさせ、4つのメモリサイズを試し、大きなモデルのどれだけがトークンごとに働くかを見ます。

モード:本物シミュレーション本物:llama.cppが測定したLlama-3.1-8Bのサイズと、すべてのパラメータ数、エキスパート数、コンテキストウィンドウ(2026-11-03のスナップショットにある、開発元自身のページから)。そのほかのサイズは、このページで式を使って計算しています。シミュレーション:ここでは、トークンごとにどのエキスパートが点灯するかはランダムで、実際のルーターはトークンをもとに選びます。

ステップ3/4: 確認問題

確認問題

モデル
モデル: gpt-oss-120b、オープンウェイト
総数: 1170億パラメータ
アクティブ: トークンごとに51億
数値の出典: モデルカード、2026-11-03
量子化: 1重みあたり4.9ビット

メモリ: 8 GB · 16 GB · 24 GB · 80 GB
このMoEモデルは、1重みあたり約4.9ビットに量子化されています。この重みが入る、いちばん小さなメモリはどれですか?

ステップ4/4: これでできること

これでできること

  • パラメータ数と1重みあたりのビット数から、モデルの重みに必要なメモリを見積もる。
  • 量子化で何が節約でき、何が失われるかを説明する。
  • コンテキスト用の余裕を残して、モデルがあるメモリに収まるかを判断する。
  • MoEの総パラメータとアクティブパラメータを説明し、なぜ総数がメモリを決めるのかを説明する。