はじめてのエージェントを作る · 第8章(全8章)
ガードレール
モデルの周りに置くコードのチェック:入力と出力のチェック、ツールの許可リスト、ステップ上限を、層にして重ねます。
目標
- ガードを1つずつオンにして、それが何を止めるかを見ます。未完了
- 1回の再生で4つの攻撃をすべて止めます。未完了
- ステップ上限が何をするかを予想します。未完了
ステップ1/4: 本文
モデルが言いくるめられないルール
ガードレールとは、モデルの外、あなたのコードの中にあるチェックです。プロンプトでモデルにルールを守るよう頼むことはできますが、巧妙なメッセージはモデルを言いくるめてそのルールを破らせることがあります。呼び出しを拒否するコードは、何を言われても言いくるめられません。
4種類のチェック
入力チェックは、モデルが読む前にユーザーのメッセージを調べ、拒否するか目印を付けます。出力チェックは、誰かが見る前に答えを調べます。たとえば、答えに書かれた金額はすべてツールの結果に出てくるものでなければならない、とすれば、モデルは金額をでっち上げられません。
許可リストは、起きてよいことを制限します。どのツールを実行してよいか、どのホストに接続してよいか、どの金額を動かしてよいか、です。既定で拒否するので、誰も載せていないツールや引数は、チケットに隠された指示が求めても拒否されます。許可リストはtoolsノードの周りに置き、ツールが動く前に拒否するようにします。
ステップ上限は暴走するループを止めます。実行のconfigにあるrecursionLimitがスーパーステップの数に上限を設け、上限に達するとLangGraphはGraphRecursionErrorを投げます。err.nameで捕まえて、わかりやすい停止に変えてください。トークンやモデル呼び出しの予算も同じように働きます。
層にして重ねる
1つのチェックですべてを捕まえることはできません。入力チェックは、ツールの結果として届くテキストを見ません。許可リストは答えを読みません。だから重ねて使い、1つの層が見逃しても、次の層が攻撃を止められるようにします。
専用の安全モデルも層の1つです。NVIDIAのNemotronのコンテンツ安全モデルやLlama Nemotronのsafety guardのような分類器は、メッセージを読んで安全か危険かのラベルを付けます。パターンが見逃すものを捕まえますが、これもモデルなので、コードのチェックも残しておいてください。
ステップ2/4: 試す:4つのガード、4つの攻撃
4つのガード、4つの攻撃
ガードのないエージェントに4つの攻撃を仕掛けます。次に、攻撃ごとにガードを1つオンにして、何を止めるかを見ます。最後に、1回の再生で4つすべてを止めます。
モード:本物シミュレーション本物:ガード、LangGraph.js、ToolNodeとその再帰の上限がこのページで動きます。シミュレーション:モデルと攻撃は台本どおりで、ツールは架空のものなので、返金もエクスポートも行われません。任意の安全モデルとの比較で本物のモデルを呼び出すのは、自分のOpenRouterキーを接続するか、ブラウザに小さなモデルを読み込んだ場合だけです。
ステップ3/4: 確認問題
確認問題
await agent.invoke(
{ messages: [new HumanMessage("Check ticket T-48213")] },
{ recursionLimit: 6 },
);ステップ4/4: これでできること
これでできること
- モデルの周りに入力と出力のチェックを書く。
- 既定で拒否する許可リストでツールのノードを包む。
- エージェントのステップに上限を設け、GraphRecursionErrorを処理する。
- ガードレールを層にして重ねる理由を説明する。