本文へスキップ
モデルを理解するに戻る

モデルを理解する · 第7章(全8章)

モデルを比べる

ベンチマークとリーダーボードはモデルを比べる助けになりますが、誤差の幅、エフォート設定、コスト、漏れたテスト、上限に達したテスト、テストを動かすプログラム、誰が実行したかによって、スコアの意味は変わります。

15分4個中0個の目標を達成

目標

  • リーダーボードを区間とともに読み、同点を見つけましょう。未完了
  • 1つのモデルの5段階のエフォート設定と、別のモデルへの切り替えを比べましょう。未完了
  • ベンチマークの4つの落とし穴を例と結びつけましょう。未完了
  • 確認問題に合格しましょう。未完了

ステップ1/4: 本文

ベンチマークとリーダーボード

ベンチマークは、決まったテスト課題の集まりと、その答えを採点する方法の組み合わせです。リーダーボードは、そうしたスコアでモデルを順位づけします。ビジュアルでは本物を2つ使います。Arenaでは、人がプロンプトを送り、見えないモデルからの2つの答えを読み、好きなほうに投票します。何百万もの投票が、各モデルのスコアになります。独立した企業であるArtificial Analysisは、9つのベンチマークを自分で実行し、それを1つの数値、Intelligence Indexにまとめています。

どのスコアにも幅がある

投票や課題のサンプルから出たスコアは推定値です。Arenaはそれを「スコア ± 幅」と書きます。本当のスコアはほぼこの範囲に入っており、これを95%区間と呼びます。投票が少ないと範囲は広くなります。2つのモデルの範囲が重なっていれば、ボードはその2つを区別できません。順位にかかわらず同点として扱いましょう。

設定とコスト

多くのモデルには、低、中、高、最大といったエフォート設定があります。第3章のように、答える前にモデルがどれだけ考えてよいかを決めるものです。エフォートを上げるとスコアは上がりがちですが、モデルが書くトークンが増えるので、課題ごとのコストも時間も増えます。Artificial Analysisは課題あたりのコストも示しています。そのサイトの課題1つでモデルを動かすのにかかった費用で、単位は米ドルです。設定とコストがなければ、スコアはあまり意味を持ちません。

落とし穴

汚染:テストの問題と答えが学習データに漏れていて、モデルが解くのではなく覚えている可能性があります。飽和:上位のモデルがどれも満点近くを取り、テストで差がつかなくなっています。ハーネスはテストを実行するプログラムで、指示、ツール、再試行を含みます。より良いハーネスは、同じモデルのスコアを上げることがあります。作り手自身のスコアは作り手独自のやり方で測られ、独立した測定とは違うことがあります。バージョンのずれ:テストはバージョンごとに変わるので、スコアにはバージョンと日付が必要です。

ビジュアルについて

ArenaとArtificial Analysisの数値は本物で、公開されたとおりのものを2026-11-03のスナップショットにしています。グラフのコストの軸は対数目盛りです。$0.10から$1までと、$1から$10までが同じ幅を占めるので、安いモデルも高いモデルも収まります。最後のステップの例は架空のものです。

ステップ2/4: 試す:ベンチマークのスコアを読む

ベンチマークのスコアを読む

本物のリーダーボードで同点を見つけ、1つのモデルのエフォートのはしごを上り、4つの落とし穴を架空の例と結びつけます。

モード:本物シミュレーション本物:リーダーボードとインデックスの数値は、ArenaとArtificial Analysisが公開したとおりのもので、2026-11-03のスナップショットです。同点と差は、このページでそこから計算しています。シミュレーション:最後のステップの4つの例はこの章のために作った架空のもので、実在のモデルやテストの名前は出しません。

ステップ3/4: 確認問題

確認問題

質問1/3ある例で、リーダーボード上のモデルAのスコアは1,310 ± 8、モデルBは1,302 ± 9です。何が言えますか?

次:質問2/3

質問2/3ある報告によると、あるインデックスでモデルXはモデルYより5ポイント高いスコアです。Xに切り替える前に、何を尋ねるべきですか?
質問3/3あるブログ記事が、テストの現行バージョンでのモデルAのスコアと、1年前のバージョンでのモデルBのスコアを並べています。Aの数値のほうが高いです。何が結論づけられますか?

ステップ4/4: これでできること

これでできること

  • リーダーボードの区間を読み、どのモデルを区別できないかを言える。
  • 名前のついたエフォート設定でモデルを比べ、課題あたりのコストも合わせて見られる。
  • 主張の中に、汚染、飽和、ハーネスの影響、作り手自身のスコアを見つけられる。
  • スコアを信頼する前に、バージョン、日付、誰がテストを実行したかを尋ねられる。