エージェントシステムと標準 · 第7章(全8章)
オブザーバビリティ:トレースと実行
すべてのモデル呼び出し、ツール呼び出し、ステップを実行のツリーとして記録し、それを読んで遅い箇所や壊れた箇所を見つけます。
目標
- トレースで最も遅いモデルまたはツールの実行を見つけます。未完了
- 失敗したツールの実行と、その親を見つけます。未完了
- LangSmithの形式で実行をエクスポートします。未完了
- 確認問題に合格します。未完了
ステップ1/4: 本文
実行とトレース
エージェントの答えの裏には、多くのステップが隠れています。トレースは、それぞれを1つの実行として記録します。グラフ、ノード、モデル呼び出し、ツール呼び出しのそれぞれについて、入力、出力、開始と終了の時刻、エラーがあればそのエラーを記録します。1つのリクエストの裏にある実行はツリーを作り、これをトレースと呼びます。
LangChain.jsとLangGraph.jsは、コールバックを通じてトレースします。configのcallbacksにLangChainTracerなどのトレーサーを渡すと、すべてのrunnableが開始と終了をそこに報告します。
LangSmithの実行の形式
各実行は、chain、llm、toolなどのrun_type、id、ツリー全体で共有するtrace_id、parent_run_idを持ちます。dotted_orderは、ルートからその実行までの各実行の開始時刻とidから作るキーなので、これで並べ替えると、起きた順にツリーが並びます。モデルの実行は、トークン数を含むusage_metadataを持ちます。LangGraphは、メタデータにthread_id、langgraph_node、langgraph_stepを加えます。
スーパーステップと実行のツリー
LangGraphは、グラフをスーパーステップ単位で実行します。各スーパーステップでは実行待ちのノードが動き、次のスーパーステップが始まる前に、それらの更新がまとめて適用されます。langgraph_stepはそのスーパーステップの番号なので、1つのトレースは2通りに読めます。各実行を親の下に置いた実行のツリーとして、そしてステップごとに実行を1グループにまとめたスーパーステップのタイムラインとしてです。ラボのウォーターフォールは、行をスーパーステップごとにまとめています。
何を見るか
レイテンシー:どの実行が長いか、それはモデルかツールか。エラー:失敗したツールの実行と、それを呼び出したノード。トークン:どの呼び出しが最も多く読むか。ループ:同じステップの繰り返し。
トレースにはプロンプト、ツール結果、顧客データが含まれるので、機密として扱います。LangSmith SDKは、送信前にすべての実行に匿名化処理をかけられます。OpenTelemetryは、サービスをまたぐトレースの一般的な標準で、LangSmithはOpenTelemetryのトレースも受け付けます。
ステップ2/4: 試す:実行のウォーターフォール
実行のウォーターフォール
5つのステップ:エージェントを実行してトレースが育つのを見て、スーパーステップを読み、最も遅い実行と失敗したツールを見つけ、最後に実行をエクスポートします。
モード:本物シミュレーション本物:このページでLangGraph.jsがエージェントを動かし、LangChain自身のトレーサーとLangSmith SDKがLangSmithの実行の形式でこれらの実行を作ります。どこにも何も送られません。シミュレーション:モデルは台本どおりに動き、時間は台本で決めた待ち時間、データは架空で、トークン数は文字数 / 4で推定しています。
ステップ3/4: 確認問題
確認問題
次:質問2/5
ステップ4/4: これでできること
これでできること
- スーパーステップのタイムラインと実行のツリーを読めます。
- トレースで遅い実行や失敗した実行と、それを呼び出した実行を見つけられます。
- LangSmithの実行の形式の主なフィールドを挙げられます。
- トレースがシステムの外に出る前に、個人データを伏せられます。