Sistemas de agentes e padrões · Capítulo 7 de 8
Observabilidade: traces e execuções
Registrar cada chamada de modelo, chamada de ferramenta e passo como uma árvore de execuções, e lê-la para achar o que está lento ou quebrado.
Objetivos
- Encontre a execução de modelo ou de ferramenta mais lenta no trace.A fazer
- Encontre a execução de ferramenta que falhou e a execução pai dela.A fazer
- Exporte as execuções no formato do LangSmith.A fazer
- Passe na verificação.A fazer
Passo 1 de 4: A leitura
Execuções e traces
A resposta de um agente esconde muitos passos. O tracing registra cada um como uma execução (run): um grafo, um nó, uma chamada de modelo ou uma chamada de ferramenta, com suas entradas, saídas, horários de início e fim, e qualquer erro. As execuções por trás de uma requisição formam uma árvore, chamada de trace.
O LangChain.js e o LangGraph.js fazem tracing por meio de callbacks. Passe um tracer como o LangChainTracer nos callbacks da config, e cada runnable informa a ele seu início e seu fim.
O formato de execução do LangSmith
Cada execução tem um run_type, como chain, llm ou tool, um id, um trace_id compartilhado pela árvore inteira e um parent_run_id. Seu dotted_order é uma chave formada pelo horário de início e pelo id de cada execução desde a raiz até ela, então ordenar por ela organiza a árvore na ordem em que as coisas aconteceram. As execuções de modelo trazem usage_metadata com a contagem de tokens. O LangGraph acrescenta thread_id, langgraph_node e langgraph_step aos metadados.
Supersteps e a árvore de execuções
O LangGraph executa um grafo em supersteps. Em cada superstep, os nós que estão na vez rodam, e suas atualizações são aplicadas juntas antes de o próximo superstep começar. langgraph_step é o número desse superstep, então um trace pode ser lido de duas formas: como uma árvore de execuções, cada execução sob a sua execução pai, e como uma linha do tempo de supersteps, um grupo de execuções por passo. A cascata do laboratório agrupa suas linhas por superstep.
O que procurar
Latência: qual execução é longa, e se é o modelo ou uma ferramenta. Erros: uma execução de ferramenta que falhou e o nó que a chamou. Tokens: quais chamadas leem mais. Loops: o mesmo passo de novo e de novo.
Os traces guardam prompts, resultados de ferramentas e dados de clientes, então trate-os como sensíveis. O SDK do LangSmith pode rodar um anonimizador em cada execução antes de enviá-la. O OpenTelemetry é o padrão geral para traces entre serviços; o LangSmith também aceita traces OpenTelemetry.
Passo 2 de 4: Experimente: A cascata de execuções
A cascata de execuções
Cinco passos: execute o agente e veja o trace dele crescer, leia os supersteps, encontre a execução mais lenta e a ferramenta que falhou, depois exporte as execuções.
Modo:RealSimuladoReal: o LangGraph.js executa o agente, e o próprio tracer do LangChain e o SDK do LangSmith produzem essas execuções nesta página, no formato de execução do LangSmith. Nada é enviado a lugar nenhum. Simulado: o modelo segue um roteiro, os tempos são atrasos roteirizados, os dados são fictícios e a contagem de tokens é estimada como caracteres / 4.
Passo 3 de 4: Verificação
Verificação
Próximo: Pergunta 2 de 5
Passo 4 de 4: O que você já sabe fazer
O que você já sabe fazer
- Ler uma linha do tempo de supersteps e uma árvore de execuções.
- Encontrar a execução lenta ou que falhou em um trace, e a execução que a chamou.
- Nomear os principais campos do formato de execução do LangSmith.
- Ocultar dados pessoais antes que um trace saia do seu sistema.