Sistemas de agentes e padrões · Capítulo 8 de 8
Avaliação e segurança
Testar um sistema de agentes com casos e verificações, atacá-lo com injeção e adulteração, e mapear as falhas nos riscos agênticos da OWASP.
Objetivos
- Rode a suíte de evals no agente sem proteções.A fazer
- Ative defesas e rode de novo até todos os casos passarem.A fazer
- Associe três falhas aos seus riscos OWASP.A fazer
- Passe na verificação.A fazer
Passo 1 de 4: A leitura
Avaliações
Uma avaliação é um conjunto de casos, cada um com verificações. Verificações em código são exatas: um valor, um schema, uma quantia que precisa aparecer nos resultados das ferramentas. Uma verificação de resultado lê o que as ferramentas fizeram. Uma verificação de trajetória lê as chamadas de ferramentas na ordem em que rodaram: o agente consultou as cobranças antes de reembolsar? Um modelo pode atuar como juiz para o que o código não consegue medir, como o tom, mas ele pode errar, então use-o com cuidado e compare-o com pessoas. Rode a suíte a cada mudança: ela não prova que um agente é seguro, mas mostra quando uma mudança quebra um caso que passava.
Ataques
A prompt injection direta vem do usuário. A injeção indireta esconde instruções no que o agente lê: chamados, documentos, resultados de ferramentas. A adulteração muda mensagens no fio, entre um agente e um servidor de ferramentas ou outro agente. O uso indevido de ferramentas leva um agente a chamar uma ferramenta que não deveria, ou com argumentos que ninguém aprovou.
Defesas
Defesas que vivem no código funcionam sempre. Em volta de um agente, elas são middleware: código que roda antes, depois ou em volta de cada chamada ao modelo e de cada chamada de ferramenta. Este campo recria o createAgent do LangChain com seus limites de chamadas, que interrompem um loop, e adiciona dois middlewares próprios: uma guarda em volta da chamada ao modelo confere reembolsos e respostas com os dados de pagamentos, e uma lista de ferramentas permitidas envolve cada chamada de ferramenta. Os protocolos trazem suas próprias verificações: Agent Cards assinados, aprovações assinadas e um catálogo dos componentes que um cliente pode desenhar. Uma regra em um prompt depende de o modelo segui-la.
Os modelos de guarda são mais uma camada. Classificadores de segurança como o modelo de content safety Nemotron da NVIDIA e o Llama Nemotron safety guard filtram prompts e respostas. Eles também são modelos, então ficam ao lado das verificações em código, não no lugar delas.
O OWASP Top 10 for Agentic Applications
A lista da OWASP para 2026 nomeia os principais riscos, de ASI01 Agent Goal Hijack e ASI02 Tool Misuse and Exploitation a ASI07 Insecure Inter-Agent Communication e ASI10 Rogue Agents. Neste lab, oito ataques rodam contra um agente envolvido em middleware e contra as bibliotecas de protocolo de capítulos anteriores, e você associa o que falhou à lista.
Passo 2 de 4: Experimente: O campo de testes
O campo de testes
Rode oito casos contra o agente, envolva-o em middleware e ative as verificações de protocolo até todos os casos passarem, depois associe as falhas que você viu aos seus riscos.
Modo:RealRecriadoSimuladoReal: as verificações, o LangGraph.js e seu ToolNode, e as verificações das bibliotecas do MCP, do A2A e do A2UI rodam nesta página. Recriado: o middleware do createAgent do LangChain 1.6, reconstruído sobre o LangGraph.js 1.5.1, com os nomes de middleware do LangChain; a guarda e a lista de permitidas são middlewares próprios, do jeito que o LangChain documenta guardrails. Simulado: o modelo e os ataques são roteirizados. A lista da OWASP está resumida em palavras simples; leia o original para os detalhes.
Passo 3 de 4: Verificação
Verificação
Próximo: Pergunta 2 de 5
Passo 4 de 4: O que você já sabe fazer
O que você já sabe fazer
- Escrever casos de avaliação com verificações em código sobre resultados e trajetórias, e saber quando usar um modelo como juiz.
- Adicionar uma guarda, uma lista de ferramentas permitidas e limites de chamadas como middleware em volta das chamadas de um agente ao modelo e às ferramentas.
- Testar um agente contra prompt injection direta e indireta, adulteração e uso indevido de ferramentas.
- Usar o OWASP Top 10 for Agentic Applications como checklist, com modelos de guarda como mais uma camada.