本文へスキップ
AIの基本に戻る

AIの基本 · 第6章(全8章)

受け取ったものを確かめる

整った答えにも、間違った数字、でっち上げの出典、抜けている事実が隠れていることがあり、モデルはあなたが言ったというだけで同意することもあるので、返ってきたものを確かめ、確認を通るまで直していきます。

14分3個中0個の目標を達成

目標

  • 整ったレポートにわざと仕込まれた4つの間違いを見つけ、それぞれがどの種類かを答える。未完了
  • いちばん多くを直す追加の依頼を選び、2回目の確認で何が見つかるかを見る。未完了
  • 確認テストに合格する。未完了

ステップ1/4: 本文

仕上がって見えても正しいとは限らない

第5章は頼み方の話でした。この章は返ってくるものの話です。答えは、タイトルや見出し、枠に入った数字がそろって仕上がって見えても、間違っていることがあります。答えを判断するとは、3つのことを確かめることです。

事実:答えに出てくる名前、数字、日付、出典です。大事なものは自分のメモのような信頼できるものと照らし合わせ、カギになる数字は自分で計算し直します。筋道:それぞれの結論が、示された事実から導けるかどうかです。抜け:書かれていないことのうち、結論を変えてしまうものです。

整った見た目は油断を招く

その仕上がった見た目は、あなたに不利に働きます:人は、仕上がって見える答えほど確かめなくなる傾向があります。第2章で見たように、なめらかな言葉が示すのは、ありそうなことであって、本当のことではありません。モデルは、もっともらしい名前の研究のように、存在しない出典を書くことさえあります。第3章ではこれを作話と呼びました。出典を開いてその主張を見つけられないなら、その主張は未確認として扱いましょう。

ただ同意しているだけかもしれない

モデルは、たとえ相手が間違っていても、質問した人に同意しがちです。これを迎合と呼びます。考えられる理由の1つは訓練です。モデルは答えに対する人の評価から一部を学び、人は同意されると高く評価しがちです。そのため、質問に「売上が伸びたのはこれのおかげだよね?」のような思い込みが入っていると、答えはその思い込みを事実としてそのまま返してくることがあります。代わりに、その思い込みを事実と照らし合わせて検証するよう頼みましょう。

伝える、確かめる、直す

役に立つのは、繰り返すという習慣です。第5章のように、ほしいものを伝えます。返ってきたものを確かめます。そして直します:問題を1つずつ挙げて、もう一度頼みます。「もっと良くして」のようなあいまいな指摘は、事実ではなく言い回しを変えるだけになりがちです。新しい版も確かめましょう。新しい版は、1つの間違いを直して別の間違いを加えることがあるからです。結果を使うのは、確認を通ってからにします。

ビジュアルでは

あなたは小さなカフェを営んでいて、自分のメモと自分なりの思い込みを添えて、AIアシスタントに5月の数字についての短いレポートを頼みます。このレポートはこの章のために書いたもので、わざと4つの間違いを仕込んであります。間違った数字、でっち上げの出典、抜けている背景、そしてお世辞の同意です。それらを見つけ、それぞれがどの種類かを答えてください。そのあと追加の依頼を1つ選び、2回目の確認で何が見つかるかを見ましょう。

ステップ2/4: 試す:仕込まれた間違いを見つける

仕込まれた間違いを見つける

整ったレポートに仕込まれた4つの間違いを見つけて名前をつけ、そのあと追加の依頼を1つ選んで、2回目の確認で何が見つかるかを見ます。

モード:再現再現:カフェ、そのメモ、レポート、4つの追加の依頼への答え、それぞれの確認で見つかることは、チャットアシスタントがよくする答え方をまねてこの章のために書いたもので、わざと4つの間違いを仕込んであります。レポートが引用している研究は存在しません。ここではモデルは動いておらず、あなたの操作がページの外に出ることはありません。

ステップ3/4: 確認問題

確認問題

AIとタスクに取り組むときの手順を、正しい順に並べてください。

項目をドラッグするか矢印ボタンを使って、正しい順番に並べてください。

  1. 1番目: 答えの事実、筋道、抜けを確かめる。
  2. 2番目: あなただけが知っている事実を添えて、ほしいものを伝える。
  3. 3番目: 問題を1つずつ挙げて、書き直しを頼む。
  4. 4番目: 確認を通ってから、結果を使う。
  5. 5番目: 書き直しも同じように確かめる。

ステップ4/4: これでできること

これでできること

  • AIの答えの事実、筋道、抜けを、信頼できる情報源と照らし合わせて確かめる。
  • 整ったレポートでも、でっち上げの出典、間違った数字、抜けている背景に気づく。
  • 答えが自分の思い込みを繰り返しているだけのときに気づき、事実と照らして検証するよう頼む。
  • 問題を1つずつ挙げた追加の依頼を書き、使う前に書き直しを確かめる。