みんなのためのエージェント入門 · 第4章(全8章)
メモリとコンテキスト
エージェントが各ステップで見られるものには限りがあります。だから、何を残し、何を捨て、何を書き留めるかで、知っていることが決まります。
目標
- いちばん古いメッセージがあふれ出るまで、コンテキストを埋めましょう。未完了
- 正しい事実を保存して、エージェントがあとで正しく答えられるようにしましょう。未完了
- 確認問題に合格しましょう。未完了
ステップ1/4: 本文
モデルが読むもの
モデルはステップを決めるたびに、コンテキストと呼ばれるひとまとまりのテキストを読みます。あなたの依頼、ここまでの会話、ツールが返したものです。モデルが持っているのはそれだけです。コンテキストにないことは、そのステップではモデルにはわかりません。
広さに限りのある机
コンテキストには、トークンで数える大きさの上限があります。トークンは単語のかけらです。短い単語ならおよそ1トークンで、英語では1トークンがおよそ4文字です。上限はモデルによって違い、数千トークンから100万トークン以上までありますが、必ず上限はあります。
コンテキストを机だと考えてみましょう。一度に載せられる紙の量には限りがあります。
机がいっぱいになると
長い会話は机を埋めていきます。すると何かをどけなければなりません。いちばん古いメッセージを捨てるか、いくつかを短い要約に置き換えます。捨てたものは、たとえあなたが前に伝えていても、エージェントはもう知りません。
メモリ:机の横のノート
メモリは別のものです。エージェントがコンテキストの外、たとえばファイルに書くメモで、必要なときに読み返します。メモは机が片づけられても残りますが、エージェントが保存した場合だけで、残るのは書き留めると決めた部分だけです。
多ければよいとは限らない
詰め込みすぎたコンテキストは、読むのに時間がかかり、費用も増え、大事な1つの事実を埋もれさせることがあります。よいエージェントは、次のステップに必要なものを机に置き、残りはノートに書きます。
ステップ2/4: 試す:広さに限りのある机
広さに限りのある机
いちばん古いメッセージが落ちるまで机を埋めて、エージェントが何を忘れるか見てみましょう。次に最初からやり直し、事実を1つノートに保存して、もう一度質問しましょう。
モード:シミュレーションシミュレーションです。会話、答え、机の小さな上限はあらかじめ用意したもので、AIは動いていません。トークン数は表示されたテキストから推定しています(文字数 ÷ 4)。
ステップ3/4: 確認問題
確認問題
次:質問2/3
ステップ4/4: これでできること
これでできること
- コンテキストとは何か、なぜ上限があるのかを説明する。
- いっぱいになると何が起きるかを説明する。
- コンテキストとメモリを見分け、正しい事実を保存することがなぜ大切かを説明する。