エージェントシステムと標準 · 第8章(全8章)
評価と安全性
ケースと確認でエージェントシステムをテストし、インジェクションと改ざんで攻撃し、失敗をOWASPのエージェント型リスクに対応づけます。
目標
- 防御のないエージェントに評価スイートを実行します。未完了
- 防御をオンにし、すべてのケースが合格するまで再実行します。未完了
- 3つの失敗を、それぞれのOWASPのリスクに対応づけます。未完了
- 確認問題に合格します。未完了
ステップ1/4: 本文
評価
評価とは、それぞれに確認を持つケースの集まりです。コードによる確認は厳密です。値、スキーマ、ツール結果に現れなければならない金額などです。結果の確認は、ツールが何をしたかを読みます。軌跡の確認は、ツール呼び出しを実行された順に読みます。エージェントは返金の前に請求を調べたでしょうか。口調のようにコードでは測れないものには、モデルを判定役にできますが、モデルは間違うことがあるので、注意して使い、人の判断と照らし合わせます。変更のたびにスイートを実行します。エージェントが安全だと証明はできませんが、以前は合格していたケースを変更が壊したときに、それがわかります。
攻撃
直接のプロンプトインジェクションはユーザーから来ます。間接のインジェクションは、エージェントが読むもの(チケット、文書、ツール結果)に指示を隠します。改ざんは、エージェントとツールサーバーやほかのエージェントとの間で、ワイヤー上のメッセージを変えます。ツールの悪用は、エージェントに、呼ぶべきでないツールを呼ばせたり、誰も承認していない引数で呼ばせたりします。
防御
コードにある防御は毎回効きます。エージェントの周りでは、それはミドルウェアです。各モデル呼び出しと各ツール呼び出しの前、後、または周りで動くコードです。この射撃場は、ループを止める呼び出し上限を備えたLangChainのcreateAgentを再現し、独自のミドルウェアを2つ加えます。モデル呼び出しを囲むガードが返金と返信を決済データと照らし合わせ、許可リストが各ツール呼び出しを包みます。プロトコルには独自の確認があります。署名付きのAgent Card、署名付きの承認、そしてクライアントが描画してよい部品のカタログです。プロンプトのルールは、モデルがそれに従うかどうかにかかっています。
ガードモデルはもう1つの層です。NVIDIAのNemotronコンテンツ安全性モデルやLlama Nemotronの安全ガードなどの安全分類器が、プロンプトと応答を検査します。これらもモデルなので、コードによる確認の代わりではなく、その横に置きます。
エージェント型アプリケーションのためのOWASP Top 10
OWASPの2026年のリストは、ASI01 Agent Goal HijackやASI02 Tool Misuse and Exploitationから、ASI07 Insecure Inter-Agent CommunicationやASI10 Rogue Agentsまで、主なリスクを挙げています。このラボでは、ミドルウェアで包んだエージェントと、前の章のプロトコルライブラリに対して8つの攻撃を実行し、失敗したものをリストに対応づけます。
ステップ2/4: 試す:テスト射撃場
テスト射撃場
エージェントに8つのケースを実行し、ミドルウェアで包んでプロトコルの確認をオンにし、すべてのケースが合格したら、見た失敗をそのリスクに対応づけます。
モード:本物再現シミュレーション本物:確認、LangGraph.jsとそのToolNode、そしてMCP、A2A、A2UIのライブラリの確認が、このページで動きます。再現:LangChain 1.6のcreateAgentのミドルウェアを、LangChainのミドルウェア名のままLangGraph.js 1.5.1の上に作り直したものです。ガードと許可リストは、LangChainがガードレールについて説明しているやり方で作った独自のミドルウェアです。シミュレーション:モデルと攻撃は台本どおりです。OWASPのリストは平易な言葉で要約しています。詳しくは原文を読んでください。
ステップ3/4: 確認問題
確認問題
次:質問2/5
ステップ4/4: これでできること
これでできること
- 結果と軌跡に対するコードの確認を持つ評価ケースを書き、モデルを判定役に使うべきときがわかります。
- ガード、許可リスト、呼び出し上限を、エージェントのモデル呼び出しとツール呼び出しを囲むミドルウェアとして追加できます。
- 直接と間接のプロンプトインジェクション、改ざん、ツールの悪用に対してエージェントをテストできます。
- エージェント型アプリケーションのためのOWASP Top 10をチェックリストとして使い、ガードモデルをもう1つの層として加えられます。