本文へスキップ
モデルを理解するに戻る

モデルを理解する · 第3章(全8章)

次のトークンを選ぶ

モデルは次に来うるすべてのトークンにスコアをつけ、スコアを確率に変えて1つをランダムに引き、温度、top-k、top-pはその引き方を変え、ベース、インストラクト、推論の各モデルは違う書き方をするよう学習されています。

14分4個中0個の目標を達成

目標

  • プロンプトに対して、次に来る確率の高いトークン上位20個を見ましょう。未完了
  • 温度とtop-pを動かして、もう一度引きましょう。未完了
  • ベースモデルとインストラクトモデルに同じ質問をしましょう。未完了
  • 確認問題に合格しましょう。未完了

ステップ1/4: 本文

1トークンずつ

前の章では、テキストがトークンになりました。モデルも同じ単位で書きます:ここまでのテキストをすべて読み、次のトークンを1つ選び、テキストに加えて、また始めます。100トークンの返答には、この手順が100回かかります。

スコアが確率になる

各ステップで、モデルは知っているすべてのトークンに、ロジットと呼ばれるスコアをつけます。この章の小さなオープンモデルSmolLM2-360Mは49,152個のトークンを知っているので、49,152個のスコアを出します。スコアは次に、起こりやすさ、つまり確率に変えられ、合計すると100%になります。スコアが高いほど確率は大きく、1高いと確率は約2.7倍になります。

設定つきのランダムな抽選

次に、確率の高いトークンほどくじが多く入った袋から引くように、その確率に従ってトークンが1つランダムに引かれます。そのため、同じプロンプトでも違う返答になることがあります。3つの設定が、この抽選を変えます。温度は、確率になる前のすべてのスコアを割る数で、1より低いと確率の高いトークンがさらに高くなり、1より高いと確率がならされます。top-kは、確率の高い上位k個のトークンだけを残します。top-pは、確率の高いトークンから順に、確率の合計がpに達するまで残すので、top-pを0.9にすると、確率の低いトークンが長く続く裾野が切り捨てられます。残ったものは、合計100%になるよう拡大し直されます。

ベースモデルとインストラクトモデル

ベースモデルはテキストの続きを書くことしか学んでいないので、質問に対して、さらに質問が続くことがあります。インストラクトモデルは、誰が話しているかを示すチャット形式で書かれた会話で、さらに学習されています。インストラクトモデルは答えたあと、書き終えたことを意味する特別なトークン、終了トークンを書きます。

推論モデル

推論モデルは、同じように1トークンずつ、まず考える過程を書き、それから答えを書きます。2026-11-03時点で、Claude Opus 5.5やGPT-6.1 Solのようなクローズドなモデルは推論を設定の1つにしており、DeepSeek-R1やOlmo 3 7B Thinkのようなオープンなモデルは、独立した推論モデルとして公開されています。

ビジュアルの数字

ビジュアルの数字は、SmolLM2-360Mとそのインストラクト版から記録したもので、どちらもHugging Faceのモデルです。ブラウザがWebGPU(ウェブページがグラフィックスカードを使うための仕組み)に対応していれば、インストラクトモデルをダウンロードして、その場で動かすこともできます。

ステップ2/4: 試す:次のトークンのサンプラー

次のトークンのサンプラー

プロンプトを選んで確率を読み、それから確率の形を変えて、1トークンずつ引きましょう。最後に、ベースモデルとインストラクトモデルに同じ質問をしましょう。

モード:本物本物、記録:すべてのスコア、確率、答えは、2026-11-03にコンピューター上でHugging FaceのTransformers.jsを使い、SmolLM2-360MとSmolLM2-360M-Instructを動かして得たものです。抽選、温度、top-k、top-pは、その数値からこのページで計算しており、あなたがたどるテキストは、ベースモデル自身の記録された実行です。推論モデルは2026-11-03のスナップショットから取っています。ライブ実行も本物で、204 MBのダウンロードを選んだ場合に動きます。

ステップ3/4: 確認問題

確認問題

設定
プロンプト: The capital of France is
モデル: SmolLM2-360M (ベース)

次のトークンと確率:
Paris      20.3%
the        19.6%
located    10.5%
situated    4.7%
called      3.7%
… ほか15個、そのあとに残りすべて

温度: 1
Top-k: オフ
Top-p: 0.5
この設定で次のトークンを100回引きます。何が出ますか?

ステップ4/4: これでできること

これでできること

  • モデルがスコアを確率に変え、次のトークンを引く仕組みを説明する。
  • 温度、top-k、top-pが確率に何をするかを言う。
  • ベースモデルとインストラクトモデルの出力を見分け、推論モデルが何を加えるかを言う。