モデルを理解する · 第4章(全8章)
モデルはどこから来るのか
モデルは、データと事前学習から、ファインチューニング、フィードバック、蒸留、量子化まで、段階を追って作られ、オープンなモデルでは多くの段階が、中身を調べられるファイルを残します。
目標
- 完全にオープンなモデルであるOlmo 3を、データから公開までたどりましょう。未完了
- DeepSeek-R1から、それをもとに蒸留された小さなモデルまでたどりましょう。未完了
- Gemma 4を、ベースモデルから量子化されたファイルまでたどりましょう。未完了
- 確認問題に合格しましょう。未完了
ステップ1/4: 本文
データ、トークン、事前学習
どのモデルもデータから始まります:テキスト、コード、そして多くの場合は画像を大量に集め、フィルターをかけて重複を取り除いたものです。第2章と同じように、トークナイザーがそれをトークンに分割します。
事前学習では、モデルに何兆ものトークンを見せ、重み(パラメータとも呼ばれる、モデルが学習する数値)を調整します。モデルは、第3章で見た課題である、次のトークンの予測がうまくなっていきます。開発元は途中で、重みのコピーであるチェックポイントを保存します。Olmo 3のように、最後に中間学習(選び抜いた、より小さなデータの組み合わせで行う短いフェーズ)と、長いテキストで学習するフェーズを行うものもあります。その結果がベースモデルで、テキストの続きは書きますが、依頼には従いません。
事後学習
事後学習は、ベースモデルが依頼に従うようにします。教師ありファインチューニング(SFT)は、依頼とよい答えの例でモデルを学習させます。
次に強化学習(RL)が報酬を使ってモデルを学習させ、スコアの高い答えが出やすくなります。RLHF(人間のフィードバックによるRL)では、人が答えを比べ、その選択からスコアが決まります。RLAIFでは別のモデルがフィードバックを出し、ときには憲法と呼ばれる、原則を書き出したリストに従います。DPO(直接選好最適化)は、よりよい答えとより悪い答えのペアから、もっと単純な1つの手順で学びます。
推論モデルでは、検証可能な報酬によるRL(RLVR)が加わります:数学の答えや、テストに通るコードのように、プログラムが正しいと確かめたときだけ、答えに報酬が与えられます。
より小さく、より軽く
蒸留は、大きなモデル(教師)が書いた答えで、小さなモデル(生徒)を学習させます。量子化は、それぞれの重みを、より少ないビット(コンピューターのメモリの0と1)で、たとえば16ビットではなく4ビットで保存するので、ファイルが小さくなって小さなマシンにも収まり、品質は少しだけ落ちます。量子化を意識した学習(QAT)は、量子化したときに失うものが少なくなるよう、モデルを学習させます。GGUFは、自分のコンピューターでモデルを動かすアプリが読み込むファイル形式です。
テストと説明
公開の前に、開発元はベンチマーク(決まったテスト問題のセット)でモデルを評価し、レッドチーミングを行います:テスターが、モデルに害のあることをさせようと試みます。モデルカードはモデル、その学習、その結果を説明し、システムカードはモデルを取り巻く安全対策も扱います。
オープンなモデルは重みを公開し、完全にオープンなモデルはデータとコードも公開します。Claude、GPT、Gemini、Grokのようなクローズドなモデルも学習されていますが、作り手が公開するのはレポートで、重みではないので、その家系図をファイル単位でたどることはできません。このビジュアルでは、オープンなモデルを3つたどります。
ステップ2/4: 試す:モデルの家系図
モデルの家系図
実在する3つの家系図を、上から1段階ずつたどりましょう。各段階で、何を使って何を作ったか、それがどこで公開されているかがわかります。
モード:本物本物:すべての段階、ファイル名、リンク、数値は、モデルの公開されたカード、データセット、論文から取ったもので(2026-11-03のスナップショット)、サイズと比率は、それらの数値からこのページで計算しています。何もダウンロードされず、リンクはそれらのページを開くだけです。
ステップ3/4: 確認問題
確認問題
モデルを作る段階を、最初から最後まで正しい順に並べましょう。
項目をドラッグするか矢印ボタンを使って、正しい順番に並べてください。
- 1番目: 結果を評価してレッドチーミングを行い、モデルカードを公開する。
- 2番目: 依頼とよい答えの例でファインチューニングする。
- 3番目: 次のトークンの予測で事前学習する:結果はベースモデルになる。
- 4番目: データを集めてきれいにし、トークンに分割する。
- 5番目: その答えから、より小さな生徒モデルを蒸留する。
- 6番目: 報酬でさらに学習させる:フィードバックからと、プログラムが確かめられる答えから。
- 7番目: 生徒の重みを、より少ないビットに量子化する。
ステップ4/4: これでできること
これでできること
- データからモデルカードまで、モデルを作る段階を順に挙げる。
- ファインチューニング、フィードバックによる学習、蒸留、量子化が、それぞれ何を変えるかを説明する。
- オープンなモデルの家系図を、モデルカードから1段階ずつたどる。
- 完全にオープンなモデルはすべての段階を確かめられ、クローズドなモデルはそうできない理由を言う。