Entendendo os modelos · Capítulo 7 de 8
Comparar modelos
Benchmarks e rankings ajudam a comparar modelos, mas as margens de erro, os ajustes de esforço, o custo, os testes vazados, os testes no limite, o programa do teste e quem o rodou mudam o que uma pontuação significa.
Objetivos
- Leia um ranking com os seus intervalos e encontre os empates.A fazer
- Compare um modelo em cinco ajustes de esforço com uma troca para outro modelo.A fazer
- Associe quatro armadilhas dos benchmarks a exemplos.A fazer
- Passe na verificação.A fazer
Passo 1 de 4: A leitura
Benchmarks e rankings
Um benchmark é um conjunto fixo de tarefas de teste com um jeito de pontuar as respostas. Um ranking ordena os modelos por essas pontuações. O visual usa dois reais. No Arena, as pessoas enviam um prompt, leem duas respostas de modelos que não conseguem ver e votam na que preferem; milhões de votos viram uma pontuação para cada modelo. A Artificial Analysis, uma empresa independente, roda nove benchmarks por conta própria e os combina em um só número, o seu Intelligence Index.
Toda pontuação tem uma margem
Uma pontuação que vem de votos, ou de uma amostra de tarefas, é uma estimativa. O Arena a escreve como uma pontuação ± uma margem: a pontuação verdadeira muito provavelmente está nessa faixa, chamada intervalo de 95%. Menos votos dão uma faixa mais larga. Quando as faixas de dois modelos se sobrepõem, o ranking não consegue diferenciá-los, então trate-os como empatados, seja qual for a posição deles.
Ajustes e custo
Muitos modelos têm um ajuste de esforço, como baixo, médio, alto ou máximo: quanto o modelo pode pensar antes de responder, como no capítulo 3. Mais esforço costuma dar uma pontuação maior, mas o modelo escreve mais tokens, então cada tarefa custa mais e demora mais. A Artificial Analysis também mostra um custo por tarefa: quanto custou rodar o modelo em uma das suas tarefas, em dólares americanos. Uma pontuação diz pouco sem o seu ajuste e o seu custo.
Armadilhas
Contaminação: as perguntas e respostas do teste vazaram para os dados de treinamento, então um modelo pode se lembrar delas em vez de resolvê-las. Saturação: os melhores modelos tiram quase a nota máxima, então o teste já não os separa. O harness é o programa que roda o teste, com as suas instruções, ferramentas e novas tentativas; um harness melhor pode subir a pontuação do mesmo modelo. A pontuação do próprio criador é obtida do jeito dele e pode diferir de uma independente. Deriva de versão: os testes mudam entre versões, então uma pontuação precisa da sua versão e da sua data.
No visual
Os números do Arena e da Artificial Analysis são reais, como foram publicados, em um levantamento de 2026-11-03. O eixo de custo do gráfico é logarítmico: de US$ 0,10 a US$ 1 ocupa a mesma largura que de US$ 1 a US$ 10, então cabem tanto os modelos baratos quanto os caros. Os exemplos da última etapa são inventados.
Passo 2 de 4: Experimente: Ler pontuações de benchmarks
Ler pontuações de benchmarks
Encontre os empates em um ranking real, suba a escada de esforço de um modelo e depois associe quatro armadilhas a exemplos inventados.
Modo:RealSimuladoReal: os números do ranking e do índice são os que o Arena e a Artificial Analysis publicaram, em um levantamento de 2026-11-03; os empates e as diferenças são calculados a partir deles nesta página. Simulado: os quatro exemplos da última etapa são inventados para este capítulo e não citam nenhum modelo ou teste real.
Passo 3 de 4: Verificação
Verificação
Próximo: Pergunta 2 de 3
Passo 4 de 4: O que você já sabe fazer
O que você já sabe fazer
- Ler os intervalos de um ranking e dizer quais modelos ele não consegue diferenciar.
- Comparar modelos em ajustes de esforço nomeados, junto com o seu custo por tarefa.
- Identificar contaminação, saturação, efeitos do harness e pontuações do próprio criador em uma afirmação.
- Perguntar a versão, a data e quem rodou o teste antes de confiar em uma pontuação.