Pular para o conteúdo
Voltar para Sistemas de agentes e padrões

Sistemas de agentes e padrões · Capítulo 7 de 8

Observabilidade: traces e execuções

Registrar cada chamada de modelo, chamada de ferramenta e passo como uma árvore de execuções, e lê-la para achar o que está lento ou quebrado.

20 minutos0 de 4 objetivos concluídos

Objetivos

  • Encontre a execução de modelo ou de ferramenta mais lenta no trace.A fazer
  • Encontre a execução de ferramenta que falhou e a execução pai dela.A fazer
  • Exporte as execuções no formato do LangSmith.A fazer
  • Passe na verificação.A fazer

Passo 1 de 4: A leitura

Execuções e traces

A resposta de um agente esconde muitos passos. O tracing registra cada um como uma execução (run): um grafo, um nó, uma chamada de modelo ou uma chamada de ferramenta, com suas entradas, saídas, horários de início e fim, e qualquer erro. As execuções por trás de uma requisição formam uma árvore, chamada de trace.

O LangChain.js e o LangGraph.js fazem tracing por meio de callbacks. Passe um tracer como o LangChainTracer nos callbacks da config, e cada runnable informa a ele seu início e seu fim.

O formato de execução do LangSmith

Cada execução tem um run_type, como chain, llm ou tool, um id, um trace_id compartilhado pela árvore inteira e um parent_run_id. Seu dotted_order é uma chave formada pelo horário de início e pelo id de cada execução desde a raiz até ela, então ordenar por ela organiza a árvore na ordem em que as coisas aconteceram. As execuções de modelo trazem usage_metadata com a contagem de tokens. O LangGraph acrescenta thread_id, langgraph_node e langgraph_step aos metadados.

Supersteps e a árvore de execuções

O LangGraph executa um grafo em supersteps. Em cada superstep, os nós que estão na vez rodam, e suas atualizações são aplicadas juntas antes de o próximo superstep começar. langgraph_step é o número desse superstep, então um trace pode ser lido de duas formas: como uma árvore de execuções, cada execução sob a sua execução pai, e como uma linha do tempo de supersteps, um grupo de execuções por passo. A cascata do laboratório agrupa suas linhas por superstep.

O que procurar

Latência: qual execução é longa, e se é o modelo ou uma ferramenta. Erros: uma execução de ferramenta que falhou e o nó que a chamou. Tokens: quais chamadas leem mais. Loops: o mesmo passo de novo e de novo.

Os traces guardam prompts, resultados de ferramentas e dados de clientes, então trate-os como sensíveis. O SDK do LangSmith pode rodar um anonimizador em cada execução antes de enviá-la. O OpenTelemetry é o padrão geral para traces entre serviços; o LangSmith também aceita traces OpenTelemetry.

Passo 2 de 4: Experimente: A cascata de execuções

A cascata de execuções

Cinco passos: execute o agente e veja o trace dele crescer, leia os supersteps, encontre a execução mais lenta e a ferramenta que falhou, depois exporte as execuções.

Modo:RealSimuladoReal: o LangGraph.js executa o agente, e o próprio tracer do LangChain e o SDK do LangSmith produzem essas execuções nesta página, no formato de execução do LangSmith. Nada é enviado a lugar nenhum. Simulado: o modelo segue um roteiro, os tempos são atrasos roteirizados, os dados são fictícios e a contagem de tokens é estimada como caracteres / 4.

Passo 3 de 4: Verificação

Verificação

Pergunta 1 de 5O que o dotted_order oferece?

Próximo: Pergunta 2 de 5

Pergunta 2 de 5Duas execuções em um trace têm o mesmo langgraph_step. O que isso diz a você?
Pergunta 3 de 5O que é um trace?
Pergunta 4 de 5Uma execução de ferramenta falhou, mas o agente respondeu mesmo assim. Por que a execução pai não está marcada como falha?
Pergunta 5 de 5O que você deve evitar enviar a um serviço de tracing compartilhado?

Passo 4 de 4: O que você já sabe fazer

O que você já sabe fazer

  • Ler uma linha do tempo de supersteps e uma árvore de execuções.
  • Encontrar a execução lenta ou que falhou em um trace, e a execução que a chamou.
  • Nomear os principais campos do formato de execução do LangSmith.
  • Ocultar dados pessoais antes que um trace saia do seu sistema.