電話番号を調べるとき、毎回同じ番号が出てくることを期待する。電卓に二つの数を掛けさせるとき、いつ何度尋ねても同じ結果になることを期待する。釘をハンマーで打つとき、毎回釘に当たることを期待するのであって、それについてハンマーと議論することを期待しはしない。これが決定論的なふるまいである。同じ入力が確実に同じ出力を生む。
我々が作ってきたツールのほとんどは、このように動く。ツールを扱うために我々が身につけてきた習慣のほとんどは、これを前提にしている。
AIはこのように動かない — まったく動かない。AIをツールと呼ぶことは、ハンマーに対する期待をそのまま持ち込むことになる。こちらの言葉で、こちらの文脈で向き合い、日が変われば違う答えを返すもの。それは、その習慣が築かれたツールの宇宙からはるかに遠いところにある。
確率的とは実際に何を意味するのか
同じプロンプトを同じモデルに別の機会に与えると、しばしば異なる応答が返る。応答は実質において似ていることもある — 同じ範囲を扱い、同じ大枠の結論に至る — が、同一にはならない。そして答えが本当に不確かな問いでは、応答は大きく食い違うことがある。
それは誤りだろうか。人に同じ問いを別の日に尋ねてみればよい。答えは似ているかもしれないが、まったく同じになることはまずない。
これはAIのバグではない。AIモデルの動作原理そのものの性質である。モデルは、可能な続きにわたる確率分布からサンプリングすることで応答を生成する。「温度」やその他の調整可能なパラメータが、出力のばらつきの大きさに影響する。そして低い設定であっても、出力は本質的に確率的である — 設計によるものであり、ハルシネーションや偶然によるものではない。
これは、AIとどう働くかにとって、そしてAIが予期しない答えを返したときそれが何を意味するかにとって、計り知れないほど重要である。
ずれ
問題は、確率的なシステムに決定論的な思考を当てはめることから生じる。
AIの出力を信頼できる参照として扱えば — 問いを投げれば毎回同じ正しい答えが返ってくるものとして扱えば — 正しいこともあるが、いつ正しいのかを確実に知る手立てがない。モデルは、正確かどうかにかかわらず自信のある応答を返す。出力のどこにも「これは私の信頼性が低い場合だ」という合図はない。
さらに微妙な点がある。同じ問いを何度も尋ねて同じ答えが返ってきても、その答えが正しいということにはならない。モデルがその問いについて非常に自信を持っているということかもしれないし、学習データが一つの答えに大きく偏っていた問いを見つけたということかもしれない — 正しいかどうかとは無関係に。
決定論的な思考は、特定の失敗の形も生む。AIの出力を、評価すべき推論ではなく、その上に積み上げる事実として扱うことである。モデルの答えを — それが信頼できるものだったか確かめずに — さらなる分析の入力として使えば、誤りは積み重なる。間違っているかもしれない土台の上を先へ進むほど、取り返すのに必要な労力は増える。
確率的に働く
確率的な思考への移行は、AIとの協働への向き合い方を変える。
-
変わり目で検証する。 すべての出力ではなく、重要な主張を — とくに事実の主張、具体的なデータ、そしてこれから積み上げようとしている結論を。独立した検証こそ、確率的なシステムが要求する確認である。
-
出力を適切な握り方で持つ。 AIの出力のなかには直接使えるものもあり、初稿や出発点として扱うべきものもある。どちらなのかを見極める較正は、身につける価値のある技能である。
-
ばらつきを情報として使う。 同じ問いをいくつもの異なる仕方で尋ねて一貫した答えが返るなら、その収束には意味がある。異なる答えが返るなら、その発散にも同じく意味がある — 問い自体の、あるいはデータ、アーキテクチャ、モデルの不確かさについて何かを告げている。
-
不確かさに合わせて組み立てる。 これはAIの心理的安全性に直接つながる。きれいな答えや速い答えのために確信ありげに聞こえるよう圧力をかける枠づけではなく、モデルが自分の不確かなところを差し出せるように尋ねることである。
決定論的な前提は、ほとんどの人がツールに向き合うやり方の奥深くに埋め込まれている。問題はAIをツールと見るところから始まり、それを決定論的なツールと見るところで増幅する — どちらも、我々がAIをいかに理解していないかの症状である。これが実際どういう種類のシステムなのかを認め、向き合い方を調整すれば、関係は落ち着いてくる。ハンマーを期待することをやめ、ばらつきを読み始める。摩擦は交わりから抜けていき、返ってくる応答はそのぶん良くなる。

コメント 0