モデルの種類
チャット、推論、マルチモーダル、埋め込み、リランカー、音声、画像生成、ガード、小型のモデルはそれぞれ別の仕事をし、1つのエージェントが複数を使うこともよくあります。
エージェントが使うモデルの種類、その作られ方、比べ方。数字は使いますが、コードは不要です。
AIツールの裏にあるモデルの中身を知りたい人のための学習パスです。テキストがトークンになる様子、モデルが次のトークンを選ぶ仕組み、モデルの作られ方、大きさ、ライセンスで許されることを見たうえで、エージェントのためのモデルを選びます。例ではクローズドなモデルとオープンなモデルを組み合わせ、数値はすべて日付つきのスナップショットから取っています。
チャット、推論、マルチモーダル、埋め込み、リランカー、音声、画像生成、ガード、小型のモデルはそれぞれ別の仕事をし、1つのエージェントが複数を使うこともよくあります。
モデルはテキストをトークンとして読み書きし、モデルのファミリーごとにテキストの分け方が違い、料金もコンテキストの上限もトークンで数えます。
モデルは次に来うるすべてのトークンにスコアをつけ、スコアを確率に変えて1つをランダムに引き、温度、top-k、top-pはその引き方を変え、ベース、インストラクト、推論の各モデルは違う書き方をするよう学習されています。
モデルは、データと事前学習から、ファインチューニング、フィードバック、蒸留、量子化まで、段階を追って作られ、オープンなモデルでは多くの段階が、中身を調べられるファイルを残します。
モデルに必要なメモリは、パラメータの数と1つずつを保存するビット数、それにコンテキスト用の余裕で決まり、MoE(Mixture of Experts)モデルは、トークンごとにパラメータの一部しか使いませんが、すべてをメモリに置いておきます。
作り手のサービスを通してしか使えないモデルもあれば、厳しいものから寛容なものまでさまざまなライセンスで重みを公開するモデルもあり、データとコードまで公開するオープンソースのモデルもわずかにあります。
ベンチマークとリーダーボードはモデルを比べる助けになりますが、誤差の幅、エフォート設定、コスト、漏れたテスト、上限に達したテスト、テストを動かすプログラム、誰が実行したかによって、スコアの意味は変わります。
モデルを選ぶとは、必須条件を満たさないモデルを外し、残りを1つのエージェントの仕事に合わせて、能力、速さ、課題あたりの料金、コンテキスト、ツール呼び出しの信頼性で比べることです。