Saltar al contenido
Volver a Entender los modelos

Entender los modelos · Capítulo 7 de 8

Comparar modelos

Los benchmarks y las clasificaciones te ayudan a comparar modelos, pero los márgenes de error, los ajustes de esfuerzo, el costo, las pruebas filtradas, las pruebas al tope, el programa de la prueba y quién la ejecutó cambian lo que significa una puntuación.

15 minutos0 de 4 objetivos hechos

Objetivos

  • Lee una clasificación con sus intervalos y encuentra los empates.Pendiente
  • Compara un modelo en cinco ajustes de esfuerzo con un cambio a otro modelo.Pendiente
  • Relaciona cuatro trampas de los benchmarks con ejemplos.Pendiente
  • Supera la comprobación.Pendiente

Paso 1 de 4: La lectura

Benchmarks y clasificaciones

Un benchmark es un conjunto fijo de tareas de prueba con una forma de puntuar las respuestas. Una clasificación ordena los modelos según esas puntuaciones. La visualización usa dos reales. En Arena, las personas envían un prompt, leen dos respuestas de modelos que no pueden ver y votan por la que prefieren; millones de votos se convierten en una puntuación para cada modelo. Artificial Analysis, una empresa independiente, ejecuta nueve benchmarks por su cuenta y los combina en un solo número, su Intelligence Index.

Cada puntuación tiene un margen

Una puntuación que sale de votos, o de una muestra de tareas, es una estimación. Arena la escribe como una puntuación ± un margen: lo más probable es que la puntuación real esté en ese rango, llamado intervalo del 95 %. Menos votos dan un rango más ancho. Cuando los rangos de dos modelos se solapan, la clasificación no puede distinguirlos, así que trátalos como empatados, sea cual sea su puesto.

Ajustes y costo

Muchos modelos tienen un ajuste de esfuerzo, como bajo, medio, alto o máximo: cuánto puede pensar el modelo antes de responder, como en el capítulo 3. Más esfuerzo suele dar una puntuación más alta, pero el modelo escribe más tokens, así que cada tarea cuesta más y tarda más. Artificial Analysis también muestra un costo por tarea: lo que costó ejecutar el modelo en una de sus tareas, en dólares estadounidenses. Una puntuación dice poco sin su ajuste y su costo.

Trampas

Contaminación: las preguntas y respuestas de la prueba se filtraron a los datos de entrenamiento, así que un modelo puede recordarlas en lugar de resolverlas. Saturación: los mejores modelos sacan casi la puntuación máxima, así que la prueba ya no los separa. El harness es el programa que ejecuta la prueba, con sus instrucciones, herramientas y reintentos; un harness mejor puede subir la puntuación del mismo modelo. La puntuación propia de un creador se obtiene a su manera y puede diferir de una independiente. Deriva de versiones: las pruebas cambian de una versión a otra, así que una puntuación necesita su versión y su fecha.

En la visualización

Las cifras de Arena y Artificial Analysis son reales, tal como se publicaron, en una instantánea del 2026-11-03. El eje de costo del gráfico es logarítmico: de 0,10 US$ a 1 US$ ocupa el mismo ancho que de 1 US$ a 10 US$, así que caben tanto los modelos baratos como los caros. Los ejemplos del último paso son inventados.

Paso 2 de 4: Pruébalo: Leer puntuaciones de benchmarks

Leer puntuaciones de benchmarks

Encuentra los empates en una clasificación real, sube por la escalera de esfuerzo de un modelo y luego relaciona cuatro trampas con ejemplos inventados.

Modo:RealSimuladoReal: las cifras de la clasificación y del índice son las que publicaron Arena y Artificial Analysis, en una instantánea del 2026-11-03; los empates y las diferencias se calculan a partir de ellas en esta página. Simulado: los cuatro ejemplos del último paso son inventados para este capítulo y no nombran ningún modelo ni prueba reales.

Paso 3 de 4: Comprobación

Comprobación

Pregunta 1 de 3En un ejemplo, el modelo A saca 1310 ± 8 en una clasificación y el modelo B saca 1302 ± 9. ¿Qué puedes decir?

Siguiente: Pregunta 2 de 3

Pregunta 2 de 3Un informe dice que el modelo X saca 5 puntos más que el modelo Y en un índice. ¿Qué deberías preguntar antes de cambiar a X?
Pregunta 3 de 3Una entrada de blog pone la puntuación del modelo A en la versión actual de una prueba junto a la del modelo B en la versión de hace un año. El número de A es más alto. ¿Qué puedes concluir?

Paso 4 de 4: Lo que ya puedes hacer

Lo que ya puedes hacer

  • Leer los intervalos de una clasificación y decir qué modelos no puede distinguir.
  • Comparar modelos en ajustes de esfuerzo concretos, junto con su costo por tarea.
  • Detectar contaminación, saturación, efectos del harness y puntuaciones propias de un creador en una afirmación.
  • Pedir la versión, la fecha y quién ejecutó la prueba antes de fiarte de una puntuación.