Sistemas de agentes y estándares · Capítulo 8 de 8
Evaluación y seguridad
Probar un sistema de agentes con casos y validaciones, atacarlo con inyección y alteración de mensajes, y relacionar las fallas con los riesgos agénticos de OWASP.
Objetivos
- Ejecuta la suite de evaluación sobre el agente sin protecciones.Pendiente
- Activa defensas y vuelve a ejecutar hasta que pasen todos los casos.Pendiente
- Relaciona tres fallas con sus riesgos de OWASP.Pendiente
- Supera la comprobación.Pendiente
Paso 1 de 4: La lectura
Evaluaciones
Una evaluación es un conjunto de casos, cada uno con validaciones. Las validaciones en código son exactas: un valor, un esquema, un monto que debe aparecer en los resultados de herramientas. Una validación de resultado lee lo que hicieron las herramientas. Una validación de trayectoria lee las llamadas a herramientas en el orden en que se ejecutaron: ¿consultó el agente los cargos antes de reembolsar? Un modelo puede actuar como juez para cosas que el código no puede medir, como el tono, pero puede equivocarse, así que úsalo con cuidado y contrástalo con personas. Ejecuta la suite en cada cambio: no puede probar que un agente sea seguro, pero muestra cuándo un cambio rompe un caso que antes pasaba.
Ataques
La inyección de prompts directa viene del usuario. La inyección indirecta esconde instrucciones en lo que lee el agente: tickets, documentos, resultados de herramientas. La alteración cambia mensajes en el cable, entre un agente y un servidor de herramientas u otro agente. El mal uso de herramientas logra que un agente llame una herramienta que no debería, o con argumentos que nadie aprobó.
Defensas
Las defensas que viven en el código se cumplen siempre. Alrededor de un agente son middleware: código que se ejecuta antes, después o alrededor de cada llamada al modelo y de cada llamada a herramienta. Este campo recrea el createAgent de LangChain con sus límites de llamadas, que detienen un ciclo, y agrega dos middleware personalizados: un guardián alrededor de la llamada al modelo compara los reembolsos y las respuestas con los datos de pagos, y una lista de herramientas permitidas envuelve cada llamada a herramienta. Los protocolos traen sus propias validaciones: Agent Cards firmadas, aprobaciones firmadas y un catálogo de los componentes que un cliente puede dibujar. Una regla en un prompt depende de que el modelo la siga.
Los modelos guardianes son una capa más. Clasificadores de seguridad como el modelo de seguridad de contenido Nemotron de NVIDIA y el Llama Nemotron safety guard filtran prompts y respuestas. También son modelos, así que van junto a las validaciones en código, no en su lugar.
El OWASP Top 10 for Agentic Applications
La lista de OWASP para 2026 nombra los riesgos principales, desde ASI01 Agent Goal Hijack y ASI02 Tool Misuse and Exploitation hasta ASI07 Insecure Inter-Agent Communication y ASI10 Rogue Agents. En este laboratorio, ocho ataques se ejecutan contra un agente envuelto en middleware y contra las librerías de protocolo de capítulos anteriores, y tú relacionas lo que falló con la lista.
Paso 2 de 4: Pruébalo: El campo de pruebas
El campo de pruebas
Ejecuta ocho casos contra el agente, envuélvelo en middleware y activa las validaciones de protocolo hasta que pasen todos los casos, y luego relaciona las fallas que viste con sus riesgos.
Modo:RealRecreadoSimuladoReal: las validaciones, LangGraph.js y su ToolNode, y las validaciones de las librerías de MCP, A2A y A2UI se ejecutan en esta página. Recreado: el middleware de createAgent de LangChain 1.6, reconstruido sobre LangGraph.js 1.5.1, con los nombres de middleware de LangChain; el guardián y la lista de permitidas son middleware personalizados, como LangChain documenta los guardrails. Simulado: el modelo y los ataques siguen un guion. La lista de OWASP está resumida con palabras simples; lee el original para el detalle.
Paso 3 de 4: Comprobación
Comprobación
Siguiente: Pregunta 2 de 5
Paso 4 de 4: Lo que ya puedes hacer
Lo que ya puedes hacer
- Escribir casos de evaluación con validaciones en código sobre resultados y trayectorias, y saber cuándo usar un modelo como juez.
- Agregar un guardián, una lista de herramientas permitidas y límites de llamadas como middleware alrededor de las llamadas de un agente al modelo y a herramientas.
- Probar un agente contra la inyección de prompts directa e indirecta, la alteración y el mal uso de herramientas.
- Usar el OWASP Top 10 for Agentic Applications como lista de verificación, con los modelos guardianes como una capa más.