Agentes avanzados · Capítulo 8 de 10
Gastar cómputo
Los bucles evaluador-optimizador, la reflexión, best-of-n y la búsqueda en árbol gastan más llamadas al modelo para lograr una mejor respuesta, y cada uno necesita un presupuesto.
Objetivos
- Ejecuta un bucle de generador y juez con una rúbrica y un tope de rondas.Pendiente
- Genera varias respuestas y elige una por votación.Pendiente
- Busca en un pequeño árbol de planes con un presupuesto de expansiones.Pendiente
- Aprueba la comprobación.Pendiente
Paso 1 de 4: La lectura
Más llamadas para una mejor respuesta
Una llamada al modelo da una respuesta. Más llamadas pueden dar una mejor: un juez califica borradores, se comparan varias muestras o una búsqueda mira hacia adelante. Cada patrón multiplica las llamadas, el costo y la espera, así que cada uno necesita un presupuesto que lo detenga.
Un generador y un juez
Un bucle evaluador-optimizador tiene dos roles. El generador escribe un borrador. El juez es una llamada al modelo aparte, con su propio prompt: puntúa el borrador según una rúbrica, una lista corta de criterios puntuados cada uno en una escala, y escribe notas para el siguiente borrador. Un umbral dice cuándo un borrador aprueba, por ejemplo cada criterio con 4 o más sobre 5. Un tope de rondas limita el bucle: cuando se alcanza, el bucle devuelve el mejor borrador hasta ese momento, marcado como no aprobado.
La reflexión, o Self-Refine, es el mismo bucle con el modelo criticando su propio borrador. Un juez aparte es más fácil de mantener estricto y de probar. Como en Sistemas de agentes, capítulo 8, compara sus puntuaciones con las de personas antes de confiar en él.
Best-of-n y votación
Best-of-n pide n respuestas al mismo prompt, muestreadas con una temperatura mayor que 0 para que difieran, y se queda con una: un juez elige la mejor, o una votación se queda con la respuesta final más común. Votar sobre las respuestas finales se llama autoconsistencia (self-consistency); sirve para respuestas que puedes comparar con exactitud, como un monto. En LangGraph las muestras son n Sends en un superstep: n llamadas que se ejecutan a la vez, así que solo esperas a la más lenta.
Búsqueda en árbol
Una búsqueda en árbol planea pasos por adelantado. Expande un paso en posibles pasos siguientes, le da a cada uno una estimación de valor, qué tan prometedor parece, y sigue expandiendo el paso abierto más prometedor. Language Agent Tree Search (LATS, 2023) lo hace con búsqueda en árbol de Monte Carlo, usando el modelo para proponer pasos, estimar valores y reflexionar sobre los fallos. Un presupuesto de expansiones limita cuántos pasos expande. El laboratorio ejecuta una búsqueda más pequeña, primero el mejor, en dos niveles, con valores simulados.
Cuándo no vale la pena
Las llamadas extra compensan cuando importa una mejor respuesta y algo puede distinguir lo mejor de lo peor: una rúbrica, una respuesta exacta sobre la que votar, un valor que estimar. Si una llamada ya aprueba, o nada puede comprobar la calidad, solo suman costo y tiempo. Mídelo: ejecuta tus casos de evaluación con y sin el patrón.
Paso 2 de 4: Pruébalo: Tres formas de gastar más llamadas
Tres formas de gastar más llamadas
El ticket T-48213 de Halden, de tres formas: un bucle con juez pule la respuesta, una votación elige el monto del reembolso y una búsqueda en árbol planea los pasos. Cada una se detiene en su presupuesto.
Modo:RealSimuladoReal: LangGraph.js 1.5.1 se ejecuta en esta página: los tres grafos, sus Sends, reducers y bucles, y los topes que los detienen. Simulado: las decisiones del modelo siguen un guion: los borradores, las puntuaciones del juez, las muestras y los valores de la búsqueda en árbol. El ticket es ficticio.
Paso 3 de 4: Comprobación
Comprobación
const CAP = 3;
const PASS = 4; // per criterion, of 5
const scores = (r) =>
Object.values(r.scores);
const passes = (r) =>
scores(r).every((s) => s >= PASS);
const total = (r) =>
scores(r).reduce((a, b) => a + b);
function review(state) {
const last = state.rounds.at(-1);
if (passes(last)) return 'finish';
if (state.rounds.length >= CAP)
return 'finish';
return 'generate';
}
function finish(state) {
const last = state.rounds.at(-1);
const best = passes(last) ? last
: state.rounds.reduce((b, r) =>
(total(r) > total(b) ? r : b));
return {
answer: best.draft,
passed: passes(best),
};
}
// The judge's scores, round by round:
// 1: accurate 3, complete 2, tone 4
// 2: accurate 4, complete 4, tone 3
// 3: accurate 4, complete 3, tone 3Paso 4 de 4: Lo que ya puedes hacer
Lo que ya puedes hacer
- Construir un bucle evaluador-optimizador con un juez aparte, una rúbrica, un umbral para aprobar y un tope de rondas.
- Ejecutar muestras de best-of-n como Sends en un superstep y quedarte con la respuesta en la que coincide la mayoría.
- Explicar cómo una búsqueda en árbol expande, puntúa y propaga valores con un presupuesto de expansiones.
- Decidir cuándo las llamadas extra valen su costo, y medirlo con tus casos de evaluación.