モデルを理解する · 第7章(全8章)
モデルを比べる
ベンチマークとリーダーボードはモデルを比べる助けになりますが、誤差の幅、エフォート設定、コスト、漏れたテスト、上限に達したテスト、テストを動かすプログラム、誰が実行したかによって、スコアの意味は変わります。
目標
- リーダーボードを区間とともに読み、同点を見つけましょう。未完了
- 1つのモデルの5段階のエフォート設定と、別のモデルへの切り替えを比べましょう。未完了
- ベンチマークの4つの落とし穴を例と結びつけましょう。未完了
- 確認問題に合格しましょう。未完了
ステップ1/4: 本文
ベンチマークとリーダーボード
ベンチマークは、決まったテスト課題の集まりと、その答えを採点する方法の組み合わせです。リーダーボードは、そうしたスコアでモデルを順位づけします。ビジュアルでは本物を2つ使います。Arenaでは、人がプロンプトを送り、見えないモデルからの2つの答えを読み、好きなほうに投票します。何百万もの投票が、各モデルのスコアになります。独立した企業であるArtificial Analysisは、9つのベンチマークを自分で実行し、それを1つの数値、Intelligence Indexにまとめています。
どのスコアにも幅がある
投票や課題のサンプルから出たスコアは推定値です。Arenaはそれを「スコア ± 幅」と書きます。本当のスコアはほぼこの範囲に入っており、これを95%区間と呼びます。投票が少ないと範囲は広くなります。2つのモデルの範囲が重なっていれば、ボードはその2つを区別できません。順位にかかわらず同点として扱いましょう。
設定とコスト
多くのモデルには、低、中、高、最大といったエフォート設定があります。第3章のように、答える前にモデルがどれだけ考えてよいかを決めるものです。エフォートを上げるとスコアは上がりがちですが、モデルが書くトークンが増えるので、課題ごとのコストも時間も増えます。Artificial Analysisは課題あたりのコストも示しています。そのサイトの課題1つでモデルを動かすのにかかった費用で、単位は米ドルです。設定とコストがなければ、スコアはあまり意味を持ちません。
落とし穴
汚染:テストの問題と答えが学習データに漏れていて、モデルが解くのではなく覚えている可能性があります。飽和:上位のモデルがどれも満点近くを取り、テストで差がつかなくなっています。ハーネスはテストを実行するプログラムで、指示、ツール、再試行を含みます。より良いハーネスは、同じモデルのスコアを上げることがあります。作り手自身のスコアは作り手独自のやり方で測られ、独立した測定とは違うことがあります。バージョンのずれ:テストはバージョンごとに変わるので、スコアにはバージョンと日付が必要です。
ビジュアルについて
ArenaとArtificial Analysisの数値は本物で、公開されたとおりのものを2026-11-03のスナップショットにしています。グラフのコストの軸は対数目盛りです。$0.10から$1までと、$1から$10までが同じ幅を占めるので、安いモデルも高いモデルも収まります。最後のステップの例は架空のものです。
ステップ2/4: 試す:ベンチマークのスコアを読む
ベンチマークのスコアを読む
本物のリーダーボードで同点を見つけ、1つのモデルのエフォートのはしごを上り、4つの落とし穴を架空の例と結びつけます。
モード:本物シミュレーション本物:リーダーボードとインデックスの数値は、ArenaとArtificial Analysisが公開したとおりのもので、2026-11-03のスナップショットです。同点と差は、このページでそこから計算しています。シミュレーション:最後のステップの4つの例はこの章のために作った架空のもので、実在のモデルやテストの名前は出しません。
ステップ3/4: 確認問題
確認問題
次:質問2/3
ステップ4/4: これでできること
これでできること
- リーダーボードの区間を読み、どのモデルを区別できないかを言える。
- 名前のついたエフォート設定でモデルを比べ、課題あたりのコストも合わせて見られる。
- 主張の中に、汚染、飽和、ハーネスの影響、作り手自身のスコアを見つけられる。
- スコアを信頼する前に、バージョン、日付、誰がテストを実行したかを尋ねられる。