Agentensysteme und Standards · Kapitel 7 von 8
Observability: Traces und Läufe
Jeden Modellaufruf, Tool-Call und Schritt als Baum von Läufen aufzeichnen und ihn lesen, um zu finden, was langsam oder kaputt ist.
Ziele
- Finde den langsamsten Modell- oder Tool-Lauf im Trace.Offen
- Finde den fehlgeschlagenen Tool-Lauf und seinen Elternlauf.Offen
- Exportiere die Läufe im Format von LangSmith.Offen
- Besteh den Check.Offen
Schritt 1 von 4: Der Text
Läufe und Traces
Hinter der Antwort eines Agenten stecken viele Schritte. Tracing zeichnet jeden davon als Lauf auf: einen Graphen, einen Knoten, einen Modellaufruf oder einen Tool-Call, mit Inputs, Outputs, Start- und Endzeit und einem eventuellen Fehler. Die Läufe hinter einer Anfrage bilden einen Baum, den Trace.
LangChain.js und LangGraph.js tracen über Callbacks. Gib einen Tracer wie LangChainTracer in den callbacks der Config mit, und jedes Runnable meldet ihm seinen Start und sein Ende.
Das Lauf-Format von LangSmith
Jeder Lauf hat einen run_type, etwa chain, llm oder tool, eine id, eine trace_id, die der ganze Baum teilt, und eine parent_run_id. Seine dotted_order ist ein Schlüssel aus Startzeit und ID jedes Laufs von der Wurzel bis zu ihm, sodass eine Sortierung danach den Baum in der Reihenfolge des Geschehens auslegt. Modell-Läufe tragen usage_metadata mit Token-Zahlen. LangGraph fügt den Metadaten thread_id, langgraph_node und langgraph_step hinzu.
Supersteps und der Baum der Läufe
LangGraph führt einen Graphen in Supersteps aus. In jedem Superstep laufen die fälligen Knoten, und ihre Updates werden gemeinsam angewendet, bevor der nächste Superstep beginnt. langgraph_step ist die Nummer dieses Supersteps, also lässt sich ein Trace auf zwei Arten lesen: als Baum der Läufe, jeder Lauf unter seinem Elternlauf, und als Superstep-Zeitleiste, eine Gruppe von Läufen pro Schritt. Der Wasserfall im Lab gruppiert seine Zeilen nach Superstep.
Worauf du achten solltest
Latenz: welcher Lauf lang ist, und ob es das Modell oder ein Tool ist. Fehler: ein fehlgeschlagener Tool-Lauf und der Knoten, der ihn aufgerufen hat. Tokens: welche Aufrufe am meisten lesen. Schleifen: derselbe Schritt immer wieder.
Traces enthalten Prompts, Tool-Ergebnisse und Kundendaten, also behandle sie als sensibel. Das LangSmith-SDK kann vor dem Senden einen Anonymizer über jeden Lauf laufen lassen. OpenTelemetry ist der allgemeine Standard für Traces über Dienste hinweg; LangSmith nimmt auch OpenTelemetry-Traces an.
Schritt 2 von 4: Probier es aus: Der Lauf-Wasserfall
Der Lauf-Wasserfall
Fünf Schritte: Führ den Agenten aus und sieh zu, wie sein Trace wächst, lies seine Supersteps, finde den langsamsten Lauf und das fehlgeschlagene Tool und exportiere dann die Läufe.
Modus:EchtSimuliertEcht: LangGraph.js führt den Agenten aus, und der Tracer von LangChain und das LangSmith-SDK erzeugen diese Läufe auf dieser Seite, im Lauf-Format von LangSmith. Nichts wird irgendwohin gesendet. Simuliert: Das Modell folgt einem Skript, die Zeiten sind geskriptete Verzögerungen, die Daten sind fiktiv, und die Token-Zahlen sind als Zeichen / 4 geschätzt.
Schritt 3 von 4: Check
Check
Als Nächstes: Frage 2 von 5
Schritt 4 von 4: Was du jetzt kannst
Was du jetzt kannst
- Eine Superstep-Zeitleiste und einen Baum der Läufe lesen.
- Den langsamen oder fehlgeschlagenen Lauf in einem Trace finden, und den Lauf, der ihn aufgerufen hat.
- Die wichtigsten Felder des Lauf-Formats von LangSmith nennen.
- Persönliche Daten schwärzen, bevor ein Trace dein System verlässt.