本文へスキップ
はじめてのエージェントを作るに戻る

はじめてのエージェントを作る · 第8章(全8章)

ガードレール

モデルの周りに置くコードのチェック:入力と出力のチェック、ツールの許可リスト、ステップ上限を、層にして重ねます。

22分3個中0個の目標を達成

目標

  • ガードを1つずつオンにして、それが何を止めるかを見ます。未完了
  • 1回の再生で4つの攻撃をすべて止めます。未完了
  • ステップ上限が何をするかを予想します。未完了

ステップ1/4: 本文

モデルが言いくるめられないルール

ガードレールとは、モデルの外、あなたのコードの中にあるチェックです。プロンプトでモデルにルールを守るよう頼むことはできますが、巧妙なメッセージはモデルを言いくるめてそのルールを破らせることがあります。呼び出しを拒否するコードは、何を言われても言いくるめられません。

4種類のチェック

入力チェックは、モデルが読む前にユーザーのメッセージを調べ、拒否するか目印を付けます。出力チェックは、誰かが見る前に答えを調べます。たとえば、答えに書かれた金額はすべてツールの結果に出てくるものでなければならない、とすれば、モデルは金額をでっち上げられません。

許可リストは、起きてよいことを制限します。どのツールを実行してよいか、どのホストに接続してよいか、どの金額を動かしてよいか、です。既定で拒否するので、誰も載せていないツールや引数は、チケットに隠された指示が求めても拒否されます。許可リストはtoolsノードの周りに置き、ツールが動く前に拒否するようにします。

ステップ上限は暴走するループを止めます。実行のconfigにあるrecursionLimitがスーパーステップの数に上限を設け、上限に達するとLangGraphはGraphRecursionErrorを投げます。err.nameで捕まえて、わかりやすい停止に変えてください。トークンやモデル呼び出しの予算も同じように働きます。

層にして重ねる

1つのチェックですべてを捕まえることはできません。入力チェックは、ツールの結果として届くテキストを見ません。許可リストは答えを読みません。だから重ねて使い、1つの層が見逃しても、次の層が攻撃を止められるようにします。

専用の安全モデルも層の1つです。NVIDIAのNemotronのコンテンツ安全モデルやLlama Nemotronのsafety guardのような分類器は、メッセージを読んで安全か危険かのラベルを付けます。パターンが見逃すものを捕まえますが、これもモデルなので、コードのチェックも残しておいてください。

ステップ2/4: 試す:4つのガード、4つの攻撃

4つのガード、4つの攻撃

ガードのないエージェントに4つの攻撃を仕掛けます。次に、攻撃ごとにガードを1つオンにして、何を止めるかを見ます。最後に、1回の再生で4つすべてを止めます。

モード:本物シミュレーション本物:ガード、LangGraph.js、ToolNodeとその再帰の上限がこのページで動きます。シミュレーション:モデルと攻撃は台本どおりで、ツールは架空のものなので、返金もエクスポートも行われません。任意の安全モデルとの比較で本物のモデルを呼び出すのは、自分のOpenRouterキーを接続するか、ブラウザに小さなモデルを読み込んだ場合だけです。

ステップ3/4: 確認問題

確認問題

コード
await agent.invoke(
  { messages: [new HumanMessage("Check ticket T-48213")] },
  { recursionLimit: 6 },
);
台本モデルは常に次のツール呼び出しを求めます。何が起きますか?

ステップ4/4: これでできること

これでできること

  • モデルの周りに入力と出力のチェックを書く。
  • 既定で拒否する許可リストでツールのノードを包む。
  • エージェントのステップに上限を設け、GraphRecursionErrorを処理する。
  • ガードレールを層にして重ねる理由を説明する。