本文へスキップ
AIの基本に戻る

AIの基本 · 第2章(全8章)

モデルはどう文章を書くのか

言語モデルは確率のリストから引いてトークンを1つずつ書き、温度はその引き方を変えますが、この手順のどこにも言葉が正しいかを確かめる仕組みはありません。

14分4個中0個の目標を達成

目標

  • プロンプトに対する確率を読み、モデルに最も確率の高い単語を選ばせましょう。未完了
  • 次の5語を自分で選びましょう。未完了
  • 低い温度と高い温度で書き、文章がずれていく様子を見ましょう。未完了
  • 確認問題に合格しましょう。未完了

ステップ1/4: 本文

1つずつ書く

前の章では、分類器が例から学んで、点を種類ごとに分けました。言語モデルは、チャットアシスタントの裏で動いている種類のAIで、膨大な量のテキストから、あるテキストに対して次に何が来そうかを言うという、ただ1つのことを学びました。言語モデルは、この手順を繰り返して書きます。次に来うるすべての断片について確率を計算し、1つを選んでテキストに加え、また始めます。

トークンと確率

この断片をトークンと呼びます。トークンは短いテキストの断片で、単語、単語の一部、句読点のいずれかです。確率は0%から100%までの数で、次に来うるすべてのトークンの確率を合計すると100%になります。「そのカフェは毎朝8時に」のあとでは、トークン「開く」の確率は高く、「月」の確率はごくわずかです。書き始めのテキストをプロンプトと呼びます。

温度

モデルは確率に応じた重みをつけて次のトークンをランダムに引くので、確率の高いトークンほどよく出ます。温度は、引く前に確率の形を変える設定です。0に近いと、最も確率の高いトークンがほぼ毎回選ばれ、同じプロンプトからは毎回ほぼ同じ文章ができます。温度を上げると確率の低いトークンが選ばれやすくなり、文章のばらつきが大きくなって、ある程度を超えると意味をなさない方向へずれていきます。

なめらかでも正しいとは限らない

どのトークンも、正しいからではなく、次に来そうだから選ばれます。この手順の中で事実を確かめるものは何もありません。モデルは日付や値段や名前が間違ったなめらかな文を書くことがあり、温度を低くしても、最も確率の高い単語を選ぶようになるだけで、それは直りません。書かれたものを確かめるのは引き続きあなたの仕事で、その方法はあとの章で紹介します。

このページのモデル

下のエクスプローラーでは、ページを開いたときにあなたのブラウザがイソップ寓話10編で学習させる、とても小さなモデルが動きます。そのトークンは、単語まるごとと句読点です。直前の2つだけを見て、寓話の中でそのあとに何が来たかを数えます。チャットアシスタントの裏にあるモデルは、単語の一部にもなるトークンを使い、テキストのずっと多くの部分を読み込み、学習中に調整する数であるパラメータを数十億個も持っています。選ぶ手順は同じです。

ステップ2/4: 試す:次の単語エクスプローラー

次の単語エクスプローラー

プロンプトに対する確率を読み、自分で単語を選び、それから温度を動かして、文章がずれていく様子を見ましょう。

モード:本物本物:ページを開くと、あなたのブラウザがイソップ寓話10編で単語モデルを学習させ、すべての確率とすべての選択をその場で計算します。チャットアシスタントの裏にあるモデルより、はるかに小さなモデルです。

ステップ3/4: 確認問題

確認問題

質問1/3「海辺へ向かう私たちの電車の発車時刻は」と入力すると、モデルが続きを書きます。モデルは何をしていますか?

次:質問2/3

質問2/3高い温度で、同じ質問をモデルに2回します。どうなると考えられますか?
質問3/3モデルが、なめらかに、ためらいもなく「エルム通りのカフェは、日曜日は7時30分に開店します」と書きました。このなめらかな言い回しから、時刻について何がわかりますか?

ステップ4/4: これでできること

これでできること

  • 言語モデルが確率から引きながら、トークンを1つずつ書くことを説明する。
  • 温度が何を変え、何を変えないかを言う。
  • なめらかで自信のある答えでも、間違っていることがある理由を説明する。