モデルを理解する · 第2章(全8章)
トークン
モデルはテキストをトークンとして読み書きし、モデルのファミリーごとにテキストの分け方が違い、料金もコンテキストの上限もトークンで数えます。
目標
- 6つのモデルファミリーのトークナイザーで、1つの文を分割しましょう。未完了
- スペイン語、日本語、コードに切り替えて、トークン数を比べましょう。未完了
- 確認問題に合格しましょう。未完了
ステップ1/4: 本文
テキストがトークンになる
前の章では、さまざまな種類のモデルを見ました。テキストを扱うモデルは、どれも同じように始まります。モデルごとに付いてくる小さなプログラムであるトークナイザーが、テキストをトークンに切り分けます。トークンは、多くの場合は前のスペースを含む単語まるごとで、ときには単語の一部、記号、数字1つです。次に、各トークンはトークンIDという番号に置き換えられます。モデルが読むのはこの番号だけです。書くときはトークンIDを返し、トークナイザーがそれをテキストに戻します。
ファミリーごとに語彙がある
トークナイザーが知っている断片のリストを、語彙と呼びます。語彙は、モデルを学習させる前に大量のサンプルテキストから作られ、そこによく出てくる断片がそれぞれ1つのトークンになります。GPT、Llama、Qwenのように、モデルのファミリーごとに独自のトークナイザーがあり、新しい世代で新しいものに変わることもあります。ラボの6つが知っている断片は、32,768〜262,144個です。
語彙にない単語は、もっと小さな断片から組み立てます。最後に行き着くのがバイトで、コンピューターが文字を1つずつ保存するのに使う小さな符号です。日本語の文字や絵文字は3〜4バイトを使うので、それを語彙に持たないトークナイザーは、1文字に複数のトークンを必要とします。
トークン数が大事な理由
プロバイダーは、送るトークン(入力と呼びます)とモデルが書くトークン(出力と呼びます)について、モデルの料金を100万トークンあたりで決めています。モデルのコンテキストウィンドウ、つまり一度に受け取れるテキストの最大量も、トークンで数えます。必要なトークンが多いテキストほど料金が高く、ウィンドウも早く埋まります。ラボでは、どのファミリーでも、同じ依頼がスペイン語と日本語では英語より多くのトークンになり、コードと絵文字では英語より1トークンに入る文字が少なくなります。
ラボにあるもの
トークナイザーは、クローズドなモデルであるGPT-4o用のOpenAIのものと、モデルのファイルが公開されているオープンウェイトの5つのファミリー(GoogleのGemma 4、MetaのLlama 3、Qwen3、DeepSeek-V3、Mistral v3)のものの、合わせて6つです。分割の結果は、それぞれの本物のトークナイザーファイルで記録しました。最後のステップは任意で、選んだファイルを、先にサイズを示してからダウンロードし、あなた自身のテキストをこのページで分割します。
ステップ2/4: 試す:トークナイザーラボ
トークナイザーラボ
1つの文を6つのトークナイザーで分割し、次にテキストを切り替えて、トークン数が変わる様子を見ましょう。
モード:本物本物:すべての分割は、2026-11-03に各ファミリーのトークナイザーファイルと@huggingface/tokenizers 0.2.0で記録したもので、任意の最後のステップでは、ダウンロードを選ぶと同じファイルがこのページでその場で動きます。語彙サイズ、コンテキストウィンドウ、料金は、2026-11-03のスナップショットから取っています。
ステップ3/4: 確認問題
確認問題
Tischreservierungsbestätigungsnachricht
1語、39文字
GPT-4oのトークン数:?ステップ4/4: これでできること
これでできること
- トークナイザー、トークン、語彙とは何かを説明する。
- 同じテキストでも、2つのモデルファミリーでトークン数が違うことがある理由を言う。
- 料金とコンテキストウィンドウがトークン数で決まる理由と、ほかの言語、コード、絵文字がよく割高になる理由を説明する。