Systèmes d'agents et standards · Chapitre 7 sur 8
Observabilité : traces et exécutions
Enregistrer chaque appel au modèle, chaque appel d'outil et chaque étape sous forme d'arbre d'exécutions, et le lire pour trouver ce qui est lent ou cassé.
Objectifs
- Trouvez l'exécution de modèle ou d'outil la plus lente de la trace.À faire
- Trouvez l'exécution d'outil qui a échoué et son parent.À faire
- Exportez les exécutions au format de LangSmith.À faire
- Réussissez la vérification.À faire
Étape 1 sur 4 : La lecture
Exécutions et traces
La réponse d'un agent cache de nombreuses étapes. Le traçage enregistre chacune comme une exécution (run) : un graphe, un nœud, un appel au modèle ou un appel d'outil, avec ses entrées, ses sorties, ses heures de début et de fin, et une éventuelle erreur. Les exécutions derrière une requête forment un arbre, appelé une trace.
LangChain.js et LangGraph.js tracent par des callbacks. Passez un tracer comme LangChainTracer dans les callbacks de la config, et chaque runnable lui signale son début et sa fin.
Le format d'exécution de LangSmith
Chaque exécution a un run_type, comme chain, llm ou tool, un id, un trace_id partagé par tout l'arbre et un parent_run_id. Son dotted_order est une clé construite à partir de l'heure de début et de l'id de chaque exécution, de la racine jusqu'à elle, si bien que trier selon elle dispose l'arbre dans l'ordre où les choses se sont passées. Les exécutions du modèle portent un usage_metadata avec le nombre de tokens. LangGraph ajoute thread_id, langgraph_node et langgraph_step aux métadonnées.
Les supersteps et l'arbre d'exécutions
LangGraph exécute un graphe en supersteps. Dans chaque superstep, les nœuds prévus s'exécutent, et leurs mises à jour sont appliquées ensemble avant que le superstep suivant commence. langgraph_step est le numéro de ce superstep, donc une trace se lit de deux façons : comme un arbre d'exécutions, chaque exécution sous son parent, et comme une chronologie de supersteps, un groupe d'exécutions par étape. La cascade du lab groupe ses lignes par superstep.
Ce qu'il faut chercher
La latence : quelle exécution est longue, et est-ce le modèle ou un outil. Les erreurs : une exécution d'outil qui a échoué et le nœud qui l'a appelée. Les tokens : quels appels lisent le plus. Les boucles : la même étape encore et encore.
Les traces contiennent des prompts, des résultats d'outils et des données clients, donc traitez-les comme sensibles. Le SDK LangSmith peut passer chaque exécution dans un anonymiseur avant de l'envoyer. OpenTelemetry est le standard général pour les traces entre services ; LangSmith accepte aussi les traces OpenTelemetry.
Étape 2 sur 4 : Essayez : La cascade d'exécutions
La cascade d'exécutions
Cinq étapes : lancez l'agent et regardez sa trace grandir, lisez ses supersteps, trouvez l'exécution la plus lente et l'outil qui a échoué, puis exportez les exécutions.
Mode :RéelSimuléRéel : LangGraph.js exécute l'agent, et le tracer de LangChain et le SDK LangSmith produisent ces exécutions dans cette page, au format d'exécution de LangSmith. Rien n'est envoyé nulle part. Simulé : le modèle suit un script, les durées sont des délais scriptés, les données sont fictives et le nombre de tokens est estimé en caractères / 4.
Étape 3 sur 4 : Vérification
Vérification
Ensuite : Question 2 sur 5
Étape 4 sur 4 : Ce que vous savez faire maintenant
Ce que vous savez faire maintenant
- Lire une chronologie de supersteps et un arbre d'exécutions.
- Trouver l'exécution lente ou en échec dans une trace, et l'exécution qui l'a appelée.
- Nommer les principaux champs du format d'exécution de LangSmith.
- Masquer les données personnelles avant qu'une trace quitte votre système.