Sistemas de agentes y estándares · Capítulo 7 de 8
Observabilidad: trazas y ejecuciones
Registrar cada llamada al modelo, cada llamada a herramienta y cada paso como un árbol de ejecuciones, y leerlo para encontrar lo que va lento o falla.
Objetivos
- Encuentra la ejecución de modelo o de herramienta más lenta de la traza.Pendiente
- Encuentra la ejecución de herramienta que falló y su padre.Pendiente
- Exporta las ejecuciones en el formato de LangSmith.Pendiente
- Supera la comprobación.Pendiente
Paso 1 de 4: La lectura
Ejecuciones y trazas
La respuesta de un agente esconde muchos pasos. El trazado registra cada uno como una ejecución (run): un grafo, un nodo, una llamada al modelo o una llamada a herramienta, con sus entradas, salidas, horas de inicio y fin, y cualquier error. Las ejecuciones detrás de una petición forman un árbol, llamado traza.
LangChain.js y LangGraph.js trazan mediante callbacks. Pasa un tracer como LangChainTracer en los callbacks de la config, y cada runnable le informa su inicio y su fin.
El formato de ejecución de LangSmith
Cada ejecución tiene un run_type, como chain, llm o tool, un id, un trace_id compartido por todo el árbol y un parent_run_id. Su dotted_order es una clave construida a partir de la hora de inicio y el id de cada ejecución desde la raíz hasta ella, así que ordenar por ella dispone el árbol en el orden en que pasaron las cosas. Las ejecuciones de modelo llevan usage_metadata con conteos de tokens. LangGraph agrega thread_id, langgraph_node y langgraph_step a la metadata.
Supersteps y el árbol de ejecuciones
LangGraph ejecuta un grafo en supersteps. En cada superstep se ejecutan los nodos que tocan, y sus actualizaciones se aplican juntas antes de que empiece el siguiente superstep. langgraph_step es el número de ese superstep, así que una traza se lee de dos maneras: como un árbol de ejecuciones, cada ejecución bajo su padre, y como una línea de tiempo de supersteps, un grupo de ejecuciones por paso. La cascada del laboratorio agrupa sus filas por superstep.
Qué buscar
Latencia: qué ejecución es larga, y si es el modelo o una herramienta. Errores: una ejecución de herramienta que falló y el nodo que la llamó. Tokens: qué llamadas leen más. Ciclos: el mismo paso una y otra vez.
Las trazas contienen prompts, resultados de herramientas y datos de clientes, así que trátalas como sensibles. El SDK de LangSmith puede pasar un anonimizador por cada ejecución antes de enviarla. OpenTelemetry es el estándar general para trazas entre servicios; LangSmith también acepta trazas de OpenTelemetry.
Paso 2 de 4: Pruébalo: La cascada de ejecuciones
La cascada de ejecuciones
Cinco pasos: ejecuta el agente y mira crecer su traza, lee sus supersteps, encuentra la ejecución más lenta y la herramienta que falló, y luego exporta las ejecuciones.
Modo:RealSimuladoReal: LangGraph.js ejecuta el agente, y el tracer propio de LangChain y el SDK de LangSmith producen estas ejecuciones en esta página, en el formato de ejecución de LangSmith. No se envía nada a ningún lado. Simulado: el modelo sigue un guion, los tiempos son demoras con guion, los datos son ficticios y los conteos de tokens se estiman como caracteres / 4.
Paso 3 de 4: Comprobación
Comprobación
Siguiente: Pregunta 2 de 5
Paso 4 de 4: Lo que ya puedes hacer
Lo que ya puedes hacer
- Leer una línea de tiempo de supersteps y un árbol de ejecuciones.
- Encontrar la ejecución lenta o fallida de una traza, y la ejecución que la llamó.
- Nombrar los campos principales del formato de ejecución de LangSmith.
- Ocultar datos personales antes de que una traza salga de tu sistema.