本文へスキップ
エージェントシステムと標準に戻る

エージェントシステムと標準 · 第7章(全8章)

オブザーバビリティ:トレースと実行

すべてのモデル呼び出し、ツール呼び出し、ステップを実行のツリーとして記録し、それを読んで遅い箇所や壊れた箇所を見つけます。

20分4個中0個の目標を達成

目標

  • トレースで最も遅いモデルまたはツールの実行を見つけます。未完了
  • 失敗したツールの実行と、その親を見つけます。未完了
  • LangSmithの形式で実行をエクスポートします。未完了
  • 確認問題に合格します。未完了

ステップ1/4: 本文

実行とトレース

エージェントの答えの裏には、多くのステップが隠れています。トレースは、それぞれを1つの実行として記録します。グラフ、ノード、モデル呼び出し、ツール呼び出しのそれぞれについて、入力、出力、開始と終了の時刻、エラーがあればそのエラーを記録します。1つのリクエストの裏にある実行はツリーを作り、これをトレースと呼びます。

LangChain.jsとLangGraph.jsは、コールバックを通じてトレースします。configのcallbacksにLangChainTracerなどのトレーサーを渡すと、すべてのrunnableが開始と終了をそこに報告します。

LangSmithの実行の形式

各実行は、chain、llm、toolなどのrun_type、id、ツリー全体で共有するtrace_id、parent_run_idを持ちます。dotted_orderは、ルートからその実行までの各実行の開始時刻とidから作るキーなので、これで並べ替えると、起きた順にツリーが並びます。モデルの実行は、トークン数を含むusage_metadataを持ちます。LangGraphは、メタデータにthread_id、langgraph_node、langgraph_stepを加えます。

スーパーステップと実行のツリー

LangGraphは、グラフをスーパーステップ単位で実行します。各スーパーステップでは実行待ちのノードが動き、次のスーパーステップが始まる前に、それらの更新がまとめて適用されます。langgraph_stepはそのスーパーステップの番号なので、1つのトレースは2通りに読めます。各実行を親の下に置いた実行のツリーとして、そしてステップごとに実行を1グループにまとめたスーパーステップのタイムラインとしてです。ラボのウォーターフォールは、行をスーパーステップごとにまとめています。

何を見るか

レイテンシー:どの実行が長いか、それはモデルかツールか。エラー:失敗したツールの実行と、それを呼び出したノード。トークン:どの呼び出しが最も多く読むか。ループ:同じステップの繰り返し。

トレースにはプロンプト、ツール結果、顧客データが含まれるので、機密として扱います。LangSmith SDKは、送信前にすべての実行に匿名化処理をかけられます。OpenTelemetryは、サービスをまたぐトレースの一般的な標準で、LangSmithはOpenTelemetryのトレースも受け付けます。

ステップ2/4: 試す:実行のウォーターフォール

実行のウォーターフォール

5つのステップ:エージェントを実行してトレースが育つのを見て、スーパーステップを読み、最も遅い実行と失敗したツールを見つけ、最後に実行をエクスポートします。

モード:本物シミュレーション本物:このページでLangGraph.jsがエージェントを動かし、LangChain自身のトレーサーとLangSmith SDKがLangSmithの実行の形式でこれらの実行を作ります。どこにも何も送られません。シミュレーション:モデルは台本どおりに動き、時間は台本で決めた待ち時間、データは架空で、トークン数は文字数 / 4で推定しています。

ステップ3/4: 確認問題

確認問題

質問1/5dotted_orderで何がわかりますか。

次:質問2/5

質問2/5トレースの中の2つの実行が、同じlanggraph_stepを持っています。これは何を意味しますか。
質問3/5トレースとは何ですか。
質問4/5ツールの実行は失敗しましたが、エージェントは答えました。親の実行が失敗と記録されないのはなぜですか。
質問5/5共有のトレースサービスに送るのを避けるべきものはどれですか。

ステップ4/4: これでできること

これでできること

  • スーパーステップのタイムラインと実行のツリーを読めます。
  • トレースで遅い実行や失敗した実行と、それを呼び出した実行を見つけられます。
  • LangSmithの実行の形式の主なフィールドを挙げられます。
  • トレースがシステムの外に出る前に、個人データを伏せられます。