本文へスキップ
AIの基本に戻る

AIの基本 · 第3章(全8章)

ここは得意、そこは苦手

AIは難しいタスクをうまくこなす一方で簡単そうなタスクで失敗し、間違ったことを自信をもって述べることがあり、わからないと言えるときのほうが役に立ちます。

15分3個中0個の目標を達成

目標

  • 6つの質問に答えるか「わかりません」と言い、2通りの方法で採点しましょう。未完了
  • 身近な6つのタスクを、AIが得意なところと失敗するところを示す日付入りの地図に分けましょう。未完了
  • 確認問題に合格しましょう。未完了

ステップ1/4: 本文

でこぼこで、難しさの順ではない

第2章では、モデルが、学習に使われた例から学んだ、次に来そうなテキストの断片を選びながら書く様子を見ました。モデルが何を得意とするかはそうした例で決まり、人が難しいと感じるかどうかでは決まりません。看板を数秒で3つの言語に翻訳できるのに、1文字ずつではなく単語の断片を読んでいるために、単語に含まれる文字を数え間違えることがあります。

研究者はこれを「ギザギザの境界」と呼びます:AIが得意なことと苦手なことの境目は、ジグザグに走っています。この言葉は、コンサルタントが現実的なタスクにAIを使った2023年の研究(Dell'Acquaら)から来ています。境界の内側のタスクでは、彼らの仕事の質が上がりました。そのすぐ外側のタスクでは、AIを使った人のほうが、使わずに取り組んだ人より正解する割合が低くなりました。境界はモデルが変わるにつれて動きもするので、境界の地図にはどれも日付が必要です。

自信たっぷりに間違える

モデルは必ず何かしらの答えを出し、間違っているときも、その言葉は同じくらい確かそうに聞こえます。存在しない本からの引用のように、間違ったことを自信のある口調で書くことを作話と呼びます(ハルシネーションと呼ぶ人も多くいます)。較正されているとは、自信と正解する頻度が一致していることです:確かだと言うときは、ほぼいつも正しいということです。

多くのテストで当てずっぽうが得になる理由

棄権とは、答える代わりに「わかりません」と言うことです。それが得になるかどうかは、採点ルール、つまりテストが答えを点数に変える方法で決まります。正解だけが数えられるなら、当てずっぽうは得にしかならないので、いつも答える人が、迷いを認める人に勝ちます。OpenAIの研究者による2025年の論文は、AIモデルの順位づけに使われるテストの多くがこの方法で採点しているため、当てずっぽうで答えるモデルが、自信がないと認めるモデルより上位になると論じています。論文が提案する解決策は、間違った答えの代償を「わかりません」より大きくすることです。

ビジュアルでは

6つの質問に答えますが、その中には、このページからは誰も答えを知りようがないものもあります。あなたの答えは、シミュレーションの2人のプレイヤーと並べて、2通りの方法で採点されます。次に、身近な6つのタスクを、日付入りの地図の「たいてい大丈夫」「よく確かめる」「頼らない」に分けます。

ステップ2/4: 試す:答えるか棄権するか、そしてタスクを地図に

答えるか棄権するか、そしてタスクを地図に

6つの質問に答え、2通りの採点を見てから、身近な6つのタスクを日付入りの地図に分けましょう。

モード:本物シミュレーション本物:あなたの点数は、あなたの答えからこのページで計算されます。シミュレーション:カフェ、ほかの2人のプレイヤー、タスクの地図は、この章のために台本どおりに作ったものです(地図は2026-11-03時点の判断で、測定ではありません)。ここではAIモデルは動いていません。

ステップ3/4: 確認問題

確認問題

質問1/3あるクイズでは、正解は1点、「わかりません」は0点、不正解はマイナス1点です。あなたの答えが正しい自信は30%ほどです。平均で最も点が高くなるのはどれですか?

次:質問2/3

質問2/3チャットアシスタントが長い手紙を上手に日本語に翻訳したのに、短い単語の文字数を間違えました。これは何を示していますか?
質問3/3ウェブ検索のないチャットアシスタントに、近所の通りにあるパン屋が今開いているか尋ねます。答えは「はい、今日は午後6時まで開いています」でした。どうするべきですか?

ステップ4/4: これでできること

これでできること

  • AIが難しいタスクをうまくこなしながら、簡単そうなタスクで失敗することがある理由を説明する。
  • 自信のある答えでも間違っていることがある理由と、正解だけを数える採点が当てずっぽうを有利にする理由を言う。
  • 身近なタスクについて、AIの出力がたいてい大丈夫か、確認が必要か、頼るべきでないかを判断する。