Aller au contenu
Retour à Comprendre les modèles

Comprendre les modèles · Chapitre 7 sur 8

Comparer des modèles

Les benchmarks et les classements aident à comparer des modèles, mais les marges d'erreur, les réglages d'effort, le coût, les tests divulgués, les tests saturés, le programme du test et qui l'a lancé changent tous le sens d'un score.

15 minutes0 objectifs sur 4 atteints

Objectifs

  • Lire un classement avec ses intervalles et trouver les égalités.À faire
  • Comparer un modèle à cinq réglages d'effort avec un passage à un autre modèle.À faire
  • Associer quatre pièges des benchmarks à des exemples.À faire
  • Réussir la vérification.À faire

Étape 1 sur 4 : La lecture

Benchmarks et classements

Un benchmark est un ensemble fixe de tâches de test avec une façon de noter les réponses. Un classement range les modèles selon ces scores. Le visuel en utilise deux réels. Sur Arena, des personnes envoient un prompt, lisent deux réponses de modèles qu'elles ne voient pas et votent pour celle qu'elles préfèrent ; des millions de votes deviennent un score pour chaque modèle. Artificial Analysis, une entreprise indépendante, lance elle-même neuf benchmarks et les combine en un seul nombre, son Intelligence Index.

Chaque score a une marge

Un score tiré de votes, ou d'un échantillon de tâches, est une estimation. Arena l'écrit comme un score ± une marge : le vrai score se trouve très probablement dans cette plage, appelée intervalle à 95 %. Moins de votes donnent une plage plus large. Quand les plages de deux modèles se chevauchent, le classement ne peut pas les départager : considérez-les comme à égalité, quel que soit leur rang.

Réglages et coût

Beaucoup de modèles ont un réglage d'effort, comme faible, moyen, élevé ou maximal : combien le modèle peut réfléchir avant de répondre, comme au chapitre 3. Plus d'effort donne souvent un meilleur score, mais le modèle écrit plus de tokens, donc chaque tâche coûte plus cher et prend plus de temps. Artificial Analysis montre aussi un coût par tâche : ce qu'a coûté l'exécution du modèle sur l'une de ses tâches, en dollars américains. Un score veut dire peu de chose sans son réglage et son coût.

Pièges

Contamination : les questions et les réponses du test ont fuité dans les données d'entraînement, donc un modèle peut s'en souvenir au lieu de les résoudre. Saturation : les meilleurs modèles obtiennent tous presque le maximum, donc le test ne les départage plus. Le harness est le programme qui fait passer le test, avec ses instructions, ses outils et ses nouvelles tentatives ; un meilleur harness peut faire monter le score du même modèle. Le score d'un créateur est obtenu à sa façon et peut différer d'un score indépendant. Dérive de version : les tests changent d'une version à l'autre, donc un score a besoin de sa version et de sa date.

Dans le visuel

Les chiffres d'Arena et d'Artificial Analysis sont réels, tels que publiés, dans un instantané daté du 2026-11-03. L'axe des coûts du graphique est logarithmique : de 0,10 $US à 1 $US prend la même largeur que de 1 $US à 10 $US, donc les modèles bon marché et les modèles chers tiennent tous. Les exemples de la dernière étape sont inventés.

Étape 2 sur 4 : Essayez : Lire les scores des benchmarks

Lire les scores des benchmarks

Trouvez les égalités dans un vrai classement, montez l'échelle d'effort d'un modèle, puis associez quatre pièges à des exemples inventés.

Mode :RéelSimuléRéel : les chiffres du classement et de l'index sont ceux qu'Arena et Artificial Analysis ont publiés, dans un instantané daté du 2026-11-03 ; les égalités et les écarts en sont déduits dans cette page. Simulé : les quatre exemples de la dernière étape sont inventés pour ce chapitre et ne nomment aucun modèle ni test réel.

Étape 3 sur 4 : Vérification

Vérification

Question 1 sur 3Dans un exemple, le modèle A obtient 1 310 ± 8 dans un classement et le modèle B 1 302 ± 9. Que pouvez-vous dire ?

Ensuite : Question 2 sur 3

Question 2 sur 3Un rapport dit que le modèle X obtient 5 points de plus que le modèle Y sur un index. Que devriez-vous demander avant de passer à X ?
Question 3 sur 3Un article de blog met le score du modèle A sur la version actuelle d'un test à côté du score du modèle B sur la version d'il y a un an. Le nombre de A est plus élevé. Que pouvez-vous en conclure ?

Étape 4 sur 4 : Ce que vous savez faire maintenant

Ce que vous savez faire maintenant

  • Lire les intervalles d'un classement et dire quels modèles il ne peut pas départager.
  • Comparer des modèles à des réglages d'effort nommés, avec leur coût par tâche.
  • Repérer dans une affirmation la contamination, la saturation, les effets du harness et les scores propres d'un créateur.
  • Demander la version, la date et qui a fait passer le test avant de se fier à un score.