高度なエージェント · 第8章(全10章)
計算を多く使う
評価者・最適化者ループ、リフレクション、best-of-n、木探索は、より良い答えを得るためにモデル呼び出しを多く使います。どれにも予算が必要です。
目標
- ルーブリックとラウンド上限を持つ、生成役と判定役のループを実行します。未完了
- 複数の答えを生成し、投票で1つ選びます。未完了
- 展開予算の範囲で、計画の小さな木を探索します。未完了
- 確認問題に合格します。未完了
ステップ1/4: 本文
呼び出しを増やして、より良い答えを
モデルを1回呼び出すと、答えが1つ返ります。呼び出しを増やすと、より良い答えが得られることがあります。判定役が下書きを採点する、複数のサンプルを比べる、探索で先を読む、といった方法です。どのパターンも呼び出し、コスト、待ち時間を何倍にもするので、それぞれに止めるための予算が必要です。
生成役と判定役
評価者・最適化者ループには2つの役割があります。生成役は下書きを書きます。判定役は独自のプロンプトを持つ別のモデル呼び出しです。ルーブリック、つまりそれぞれを尺度で採点する短い基準のリストに照らして下書きを採点し、次の下書きのためのメモを書きます。しきい値は、たとえば全基準が5点中4点以上のように、下書きが合格する条件を決めます。ラウンド上限はループの回数を抑えます。上限に達すると、ループはその時点で最良の下書きを、不合格の印を付けて返します。
リフレクション(Self-Refine)は、モデルが自分の下書きを批評する同じループです。別の判定役のほうが、厳しさを保ちやすく、テストもしやすくなります。エージェントシステムの第8章と同じく、信頼する前にその採点を人の採点と比べてください。
best-of-nと投票
best-of-nは同じプロンプトにn個の答えを求めます。答えが互いに異なるよう0より高いtemperatureでサンプリングし、1つを残します。判定役が最良のものを選ぶか、投票で最も多い最終回答を残します。最終回答で投票することを自己一貫性(self-consistency)と呼びます。金額のように正確に比べられる答えに向いています。LangGraphでは、サンプルは1つのスーパーステップの中のn個のSendです。n回の呼び出しが同時に動くので、待つのは最も遅いものだけです。
木探索
木探索は先のステップまで計画します。あるステップを次に取りうるステップへ展開し、それぞれに価値の見積もり、つまりどれだけ有望に見えるかを付け、最も有望な未展開のステップを展開し続けます。Language Agent Tree Search(LATS、2023年)はこれをモンテカルロ木探索で行い、モデルを使ってステップを提案し、価値を見積もり、失敗を振り返ります。展開予算は、展開するステップの数を制限します。このラボでは、より小さな最良優先探索を2段で、シミュレーションの価値を使って実行します。
割に合わないとき
追加の呼び出しが割に合うのは、より良い答えが重要で、良し悪しを見分けられるものがあるときです。ルーブリック、投票できる正確な答え、見積もれる価値などです。1回の呼び出しですでに合格する場合や、品質を確かめる手段がない場合は、コストと時間が増えるだけです。測ってください。評価ケースを、そのパターンありとなしで実行します。
ステップ2/4: 試す:呼び出しを多く使う3つの方法
呼び出しを多く使う3つの方法
HaldenのチケットT-48213を3通りで扱います。判定役のループが返信を磨き、投票が返金額を選び、木探索が手順を計画します。どれも予算に達すると止まります。
モード:本物シミュレーション本物:LangGraph.js 1.5.1がこのページで動いています。3つのグラフ、そのSend、リデューサー、ループ、そしてそれらを止める上限も本物です。シミュレーション:モデルの判断は台本どおりです。下書き、判定役の採点、サンプル、木探索の価値がそうです。チケットは架空です。
ステップ3/4: 確認問題
確認問題
const CAP = 3;
const PASS = 4; // per criterion, of 5
const scores = (r) =>
Object.values(r.scores);
const passes = (r) =>
scores(r).every((s) => s >= PASS);
const total = (r) =>
scores(r).reduce((a, b) => a + b);
function review(state) {
const last = state.rounds.at(-1);
if (passes(last)) return 'finish';
if (state.rounds.length >= CAP)
return 'finish';
return 'generate';
}
function finish(state) {
const last = state.rounds.at(-1);
const best = passes(last) ? last
: state.rounds.reduce((b, r) =>
(total(r) > total(b) ? r : b));
return {
answer: best.draft,
passed: passes(best),
};
}
// The judge's scores, round by round:
// 1: accurate 3, complete 2, tone 4
// 2: accurate 4, complete 4, tone 3
// 3: accurate 4, complete 3, tone 3ステップ4/4: これでできること
これでできること
- 別の判定役、ルーブリック、合格のしきい値、ラウンド上限を持つ評価者・最適化者ループを作る。
- best-of-nのサンプルを1つのスーパーステップの中のSendとして実行し、多数が一致する答えを残す。
- 木探索が展開予算の範囲で、どう展開し、採点し、価値を上へ伝えるかを説明する。
- 追加の呼び出しがコストに見合うときを判断し、評価ケースで測る。