モデルを理解する · 第3章(全8章)
次のトークンを選ぶ
モデルは次に来うるすべてのトークンにスコアをつけ、スコアを確率に変えて1つをランダムに引き、温度、top-k、top-pはその引き方を変え、ベース、インストラクト、推論の各モデルは違う書き方をするよう学習されています。
目標
- プロンプトに対して、次に来る確率の高いトークン上位20個を見ましょう。未完了
- 温度とtop-pを動かして、もう一度引きましょう。未完了
- ベースモデルとインストラクトモデルに同じ質問をしましょう。未完了
- 確認問題に合格しましょう。未完了
ステップ1/4: 本文
1トークンずつ
前の章では、テキストがトークンになりました。モデルも同じ単位で書きます:ここまでのテキストをすべて読み、次のトークンを1つ選び、テキストに加えて、また始めます。100トークンの返答には、この手順が100回かかります。
スコアが確率になる
各ステップで、モデルは知っているすべてのトークンに、ロジットと呼ばれるスコアをつけます。この章の小さなオープンモデルSmolLM2-360Mは49,152個のトークンを知っているので、49,152個のスコアを出します。スコアは次に、起こりやすさ、つまり確率に変えられ、合計すると100%になります。スコアが高いほど確率は大きく、1高いと確率は約2.7倍になります。
設定つきのランダムな抽選
次に、確率の高いトークンほどくじが多く入った袋から引くように、その確率に従ってトークンが1つランダムに引かれます。そのため、同じプロンプトでも違う返答になることがあります。3つの設定が、この抽選を変えます。温度は、確率になる前のすべてのスコアを割る数で、1より低いと確率の高いトークンがさらに高くなり、1より高いと確率がならされます。top-kは、確率の高い上位k個のトークンだけを残します。top-pは、確率の高いトークンから順に、確率の合計がpに達するまで残すので、top-pを0.9にすると、確率の低いトークンが長く続く裾野が切り捨てられます。残ったものは、合計100%になるよう拡大し直されます。
ベースモデルとインストラクトモデル
ベースモデルはテキストの続きを書くことしか学んでいないので、質問に対して、さらに質問が続くことがあります。インストラクトモデルは、誰が話しているかを示すチャット形式で書かれた会話で、さらに学習されています。インストラクトモデルは答えたあと、書き終えたことを意味する特別なトークン、終了トークンを書きます。
推論モデル
推論モデルは、同じように1トークンずつ、まず考える過程を書き、それから答えを書きます。2026-11-03時点で、Claude Opus 5.5やGPT-6.1 Solのようなクローズドなモデルは推論を設定の1つにしており、DeepSeek-R1やOlmo 3 7B Thinkのようなオープンなモデルは、独立した推論モデルとして公開されています。
ビジュアルの数字
ビジュアルの数字は、SmolLM2-360Mとそのインストラクト版から記録したもので、どちらもHugging Faceのモデルです。ブラウザがWebGPU(ウェブページがグラフィックスカードを使うための仕組み)に対応していれば、インストラクトモデルをダウンロードして、その場で動かすこともできます。
ステップ2/4: 試す:次のトークンのサンプラー
次のトークンのサンプラー
プロンプトを選んで確率を読み、それから確率の形を変えて、1トークンずつ引きましょう。最後に、ベースモデルとインストラクトモデルに同じ質問をしましょう。
モード:本物本物、記録:すべてのスコア、確率、答えは、2026-11-03にコンピューター上でHugging FaceのTransformers.jsを使い、SmolLM2-360MとSmolLM2-360M-Instructを動かして得たものです。抽選、温度、top-k、top-pは、その数値からこのページで計算しており、あなたがたどるテキストは、ベースモデル自身の記録された実行です。推論モデルは2026-11-03のスナップショットから取っています。ライブ実行も本物で、204 MBのダウンロードを選んだ場合に動きます。
ステップ3/4: 確認問題
確認問題
プロンプト: The capital of France is
モデル: SmolLM2-360M (ベース)
次のトークンと確率:
Paris 20.3%
the 19.6%
located 10.5%
situated 4.7%
called 3.7%
… ほか15個、そのあとに残りすべて
温度: 1
Top-k: オフ
Top-p: 0.5ステップ4/4: これでできること
これでできること
- モデルがスコアを確率に変え、次のトークンを引く仕組みを説明する。
- 温度、top-k、top-pが確率に何をするかを言う。
- ベースモデルとインストラクトモデルの出力を見分け、推論モデルが何を加えるかを言う。