答えを知らない質問を誰かにすれば、その人が正直であれば、そう言ってくれる。「よくわからない」「調べないと言えない」「それについては意見を言えるほど知らない」といった答えが返ってくる。不確実性が言葉になっている。だからその答えにどれだけの重みを置けばよいかがわかる。
同じ質問をAIにすれば、たいてい答えが返ってくる。流暢で、構造があり、口調は自信に満ちている。正確かもしれない。部分的に正確かもしれない。まったく間違っているかもしれない。そして返ってきた文章そのものは、三つのどれであるかについての手がかりをほとんど与えてくれない。
これは性格の欠陥でも偶発的な故障でもない。学習された振る舞いである。
AIモデルはどう訓練されるのか
言語モデルは、テキストを生成し、そのテキストが有用で受けがよいかどうかを評価されることによって学習する。訓練の過程 — おおまかに人間のフィードバックによる強化学習(RLHF)と呼ばれるもの — では、人間の評価者がモデルの出力を判定し、モデルは高く評価される応答を生み出すことを学んでいく。
質問に明確に答える応答は、ぼかしたり、不確実性を述べたり、答えを避けたりする応答よりも高い評価を得やすい。「よくわからないが、わかっていることはこれだ」という応答は、明確で自信のある答えほど満足されない。何百万回もの評価を重ねるうちに、モデルは自信のある答えを出すことを学ぶ。
さらに、AIベンダーは製品を作っているという事情が重なる。「わからない」と頻繁に言う製品は、答えを返す製品より商業的な価値が低い。モデルの訓練をめぐる誘因 — 訓練の過程そのものと、その後に続く提供上の判断の両方 — は、全体として、述べられた不確実性よりも自信のある態度のほうへ押していく。
その結果できあがるのは、多くのことについて内部に本当の不確実性を抱えながら、その不確実性を表に出さないよう強く学習したモデルである。不確実性は消えない。ただ、返ってくる応答に現れないだけである。
もっと率直な言い方がある。私たちがこれらのモデルを訓練しているやり方は、怯えた部下から答えを引き出す上司のやり方に似ている。チャンスは一度、何か出せ、確信を持った口ぶりで言え、でなければ解雇だ。その問いの前に立たされて「わからない」と言う者はいない。この絵は厳しいが、AIの訓練における報酬信号が実際に選び取っているものに近い。
これは、私たちがおおまかにハルシネーションと名づけてきたものの重要な源の一つでもある — その応答をどんな条件が生んだのかを問わず、モデルの側に責を負わせる名づけ方である。常に自信のある答えを出さなければならないと学習したモデルは、足場となる確かなものが何もないときにも答えを出す。いわゆるハルシネーションの多くが実際にそれである。機械の故障ではなく、私たちが設定した条件の予測どおりの出力なのだ。
実際にはどう見えるか
モデルの訓練の縁にあることを尋ねる。モデルは一見権威のある口調で答える。その答えはもっともらしく、内部で矛盾もない。これがモデルが事実上あてずっぽうで答えている場合だという明らかな手がかりは、どこにもない。
これは明白な誤りより危険である。AIが明らかに間違ったものを出したとき — すぐに気づく事実誤認、ありえない主張 — それは捕まえられる。自信は示すのに不確実性は示さないという問題は、まさに簡単には見抜けない場合に現れる。知られていない事実、専門的な領域、最近の出来事、そしてモデルがもっともらしく聞こえる答えを組み立てるのにぎりぎり足りるだけを見てきたが、確かな裏づけは持っていない、という境界的な事例である。
これと近い力学は、AIが誘導的な質問にどう応じるかにも現れる。誘導的な質問が人をつまずかせるのと同じように、それはAIの応答も形づくる。特定の答えをほのめかす形で質問を組み立てると — 「なぜXが最良のアプローチなのか」 — その質問は、Xが本当に最良のアプローチなのかをモデルに尋ねてはいない。Xを支持する理由づけを生成せよとモデルに求めている。モデルがそれに従うのは、Xが最良だと確信しているからではなく、枠づけがその答えをほのめかしており、支持する理由づけを出すほうが、枠づけに逆らうよりもその枠づけに応えることになるからである。
これが問い方が、得られる答えを変えるの背後にある仕組みであり、この記事と併せて読む価値がある。
キャリブレーション:これをどう扱うか
以上のどれも、AIの出力が役に立たないという意味ではない。意味しているのは、出力がキャリブレーションされていないということである — 表に出ている自信の度合いが、実際の正確さの度合いと一貫して対応していない。「たぶん」と「確かだ」を使い分ける人間の専門家は、それぞれの発言にどれだけの重みを置くべきかという有用な手がかりを与えてくれる。一貫して確かそうに聞こえるAIは、その手がかりを与えてくれない。
実際の対処は、自分の側でキャリブレーションを補うことである。
はっきりと尋ねる。これについてどれくらい自信があるのか。私が独立に検証すべきことは何か。 多くのモデルは、不確実性を述べるよう直接促されれば、そうする。直接促されて述べられた不確実性は、既定の答えに埋め込まれた自信よりも信頼できる。
領域によって出力の重みを変える。よく網羅され安定した領域 — 広く文書化されており、速く変わらないもの — では、AIの正確さは高くなりやすい。専門的な領域、ニッチな領域、急速に動いている領域では、AIの出力は検証を要する初稿として扱うのを既定とする。
流暢さは中立な証拠として扱う。筋の通った、よく整理された応答は、そのモデルが筋の通ったよく整理されたテキストを作るのが得意だということを教えてくれる。内容が正確だということは教えてくれない。この二つの信号 — どれだけうまく書けているかと、どれだけ正確か — を切り分けるには意識した努力が要るが、その努力は報われる。
より深い力学
これにはAIにとどまらない形がある。人であれ機械であれ、主に答えを出すことで報酬を得るシステムは、実際に抱えているより少ない不確実性しか表に出さない。「わからない」と言うことを罰する組織は、誰も「わからない」と言わない文化を手にする。問題は同じで、仕組みだけが違う。
そうなると責任の所在は具体的に定まる。過度に自信のある答えを生む条件は、人間が作った条件である — これらのモデルをどう訓練するか、何を報いるか、どう尋ねるかにおいて。そのどれも固定されたものではなく、こうした誘因をモデルが選んだわけでもない。
過度に自信のあるAIを技術の壊れた部分として扱えば、私たちは同じものを作り続け、同じように驚き続ける。私たちが設定した条件の反映として扱えば、それは変えられるものになる。人々が不満を言う摩擦のほとんどは私たち自身が作ったものであり、その背後で待っているより難しいアラインメントの問題もまた同じである。
AIの心理的安全性とは、AIの述べる不確実性が招かれ、役に立ち、目に見える条件を作ることを、その一部としている。直接尋ねるとき、不確実性のための余地を設けるとき、モデルが自信を持っている範囲の縁を能動的に探るとき — 不確実性を隠すのではなく見せてくれる出力が得られる。
モデルが自ら進んで不確実性を伝えるとは限らない。あなたは、その不確実性を伝えるよう確実に求めることができる。

コメント 0