Zum Inhalt springen
Zurück zu Agentensysteme und Standards

Agentensysteme und Standards · Kapitel 7 von 8

Observability: Traces und Läufe

Jeden Modellaufruf, Tool-Call und Schritt als Baum von Läufen aufzeichnen und ihn lesen, um zu finden, was langsam oder kaputt ist.

20 Minuten0 von 4 Zielen erreicht

Ziele

  • Finde den langsamsten Modell- oder Tool-Lauf im Trace.Offen
  • Finde den fehlgeschlagenen Tool-Lauf und seinen Elternlauf.Offen
  • Exportiere die Läufe im Format von LangSmith.Offen
  • Besteh den Check.Offen

Schritt 1 von 4: Der Text

Läufe und Traces

Hinter der Antwort eines Agenten stecken viele Schritte. Tracing zeichnet jeden davon als Lauf auf: einen Graphen, einen Knoten, einen Modellaufruf oder einen Tool-Call, mit Inputs, Outputs, Start- und Endzeit und einem eventuellen Fehler. Die Läufe hinter einer Anfrage bilden einen Baum, den Trace.

LangChain.js und LangGraph.js tracen über Callbacks. Gib einen Tracer wie LangChainTracer in den callbacks der Config mit, und jedes Runnable meldet ihm seinen Start und sein Ende.

Das Lauf-Format von LangSmith

Jeder Lauf hat einen run_type, etwa chain, llm oder tool, eine id, eine trace_id, die der ganze Baum teilt, und eine parent_run_id. Seine dotted_order ist ein Schlüssel aus Startzeit und ID jedes Laufs von der Wurzel bis zu ihm, sodass eine Sortierung danach den Baum in der Reihenfolge des Geschehens auslegt. Modell-Läufe tragen usage_metadata mit Token-Zahlen. LangGraph fügt den Metadaten thread_id, langgraph_node und langgraph_step hinzu.

Supersteps und der Baum der Läufe

LangGraph führt einen Graphen in Supersteps aus. In jedem Superstep laufen die fälligen Knoten, und ihre Updates werden gemeinsam angewendet, bevor der nächste Superstep beginnt. langgraph_step ist die Nummer dieses Supersteps, also lässt sich ein Trace auf zwei Arten lesen: als Baum der Läufe, jeder Lauf unter seinem Elternlauf, und als Superstep-Zeitleiste, eine Gruppe von Läufen pro Schritt. Der Wasserfall im Lab gruppiert seine Zeilen nach Superstep.

Worauf du achten solltest

Latenz: welcher Lauf lang ist, und ob es das Modell oder ein Tool ist. Fehler: ein fehlgeschlagener Tool-Lauf und der Knoten, der ihn aufgerufen hat. Tokens: welche Aufrufe am meisten lesen. Schleifen: derselbe Schritt immer wieder.

Traces enthalten Prompts, Tool-Ergebnisse und Kundendaten, also behandle sie als sensibel. Das LangSmith-SDK kann vor dem Senden einen Anonymizer über jeden Lauf laufen lassen. OpenTelemetry ist der allgemeine Standard für Traces über Dienste hinweg; LangSmith nimmt auch OpenTelemetry-Traces an.

Schritt 2 von 4: Probier es aus: Der Lauf-Wasserfall

Der Lauf-Wasserfall

Fünf Schritte: Führ den Agenten aus und sieh zu, wie sein Trace wächst, lies seine Supersteps, finde den langsamsten Lauf und das fehlgeschlagene Tool und exportiere dann die Läufe.

Modus:EchtSimuliertEcht: LangGraph.js führt den Agenten aus, und der Tracer von LangChain und das LangSmith-SDK erzeugen diese Läufe auf dieser Seite, im Lauf-Format von LangSmith. Nichts wird irgendwohin gesendet. Simuliert: Das Modell folgt einem Skript, die Zeiten sind geskriptete Verzögerungen, die Daten sind fiktiv, und die Token-Zahlen sind als Zeichen / 4 geschätzt.

Schritt 3 von 4: Check

Check

Frage 1 von 5Was gibt dir dotted_order?

Als Nächstes: Frage 2 von 5

Frage 2 von 5Zwei Läufe in einem Trace haben denselben langgraph_step. Was sagt dir das?
Frage 3 von 5Was ist ein Trace?
Frage 4 von 5Ein Tool-Lauf ist fehlgeschlagen, aber der Agent hat trotzdem geantwortet. Warum ist der Elternlauf nicht als fehlgeschlagen markiert?
Frage 5 von 5Was solltest du nicht an einen geteilten Tracing-Dienst senden?

Schritt 4 von 4: Was du jetzt kannst

Was du jetzt kannst

  • Eine Superstep-Zeitleiste und einen Baum der Läufe lesen.
  • Den langsamen oder fehlgeschlagenen Lauf in einem Trace finden, und den Lauf, der ihn aufgerufen hat.
  • Die wichtigsten Felder des Lauf-Formats von LangSmith nennen.
  • Persönliche Daten schwärzen, bevor ein Trace dein System verlässt.