モデルが食い違うとき

二つのAIモデルが異なる答えを返してきたときの直感は、どちらが正しいのかを見極めようとすることだ。「より良い」モデルを選ぶ。あるいは第三のモデルに決着をつけてもらう。相違を、「正しい」答えへ向かう途中で抑えこむべきノイズとして扱う。

この直感は疑ってみる価値がある。これは、AIとの関わりを誤った方向へ連れていく罠だ。

Solo-AIが決して見せられないこと

モデル間の相違をどう扱うかを語る前に、AIの信頼性をめぐるほとんどの議論で見落とされていることを名づけておく価値がある。単一のモデルでは、自分が何を知らないのかを知ることができない。

Solo-AIの応答は、自信に満ち、完結した姿で届く。見えないのは、別のモデルなら異なる答えをしたかどうかだ——見落とした考慮があるのか、成り立たない前提を置いていないか、答えが本当に争われている部分があるのか、学習データに穴があるのか、アーキテクチャに偏りがあるのか。その不確実さは、あなたが観測できるかどうかにかかわらず存在する。Solo-AIはそれを見えないままにしておくだけだ——設計上、そうなっている。

そしてこの設計には需要側がある。消費者がAIに求めるのは正しい答えであって、較正された答えではない。その要求が報いるのは自信だ。権威の音色と決定論的な確かさ——そのどちらもアーキテクチャは保証できない。その需要に応えるほうが、それを説き明かすより安く済む。だから調整されるのは、答えがどれだけ信頼できるかではなく、どれだけ信頼できそうに感じられるかになる。

限界は、Solo-AIが間違っていることではない。どこで間違っているかもしれないかを特定する手だてを与えてくれないことだ。そして見通しのきかなさは、重大な局面ではそのままリスクに置き換わる。つまり「正しい」答えを求める圧力は、答えを安全にするのではなく、危険にする。いま安心を得て、のちに不整合で払う。こうそのまま書き出してみれば、誰も選ばない取引だ。

相違が実際に示していること

二つのモデルが同じ問いについて推論し、異なる答えに至るとき、現実に何かが起きている。その相違は印だ——答えが落着していない問題の一部を指し示している。

それは、問いが多義であり、それぞれのモデルが多義を別の方向で解消したということかもしれない。学習の異なる部分から汲み上げ、本当に異なる根拠や視点を浮かび上がらせたということかもしれない。一方のモデルが置いた前提を他方は置かず、その前提が重要だということかもしれない。

いずれの場合も、その相違は有用な何かを告げている。「この答えのどちらかが間違っている」ではない——それは事実かもしれないが、最も興味深い点ではない。より興味深いのはこちらだ。なぜこのモデルたちの推論は食い違うのか、そしてその違いは問題について何を明かしているのか。

相違を読む

モデル間の相違は、すべてが同じだけ有用というわけではない。SCI（構造化協調知性）をうまく用いることの一部は、相違が何を意味するのかについての判断を養うことだ。

浅い相違もある。モデルは、根底では同じ要点に收束しながら、異なる言い回しをしたり、異なる例を持ち出したりする。それは時間をかける価値のある相違ではない。文体のゆれだ。

実質的な相違もある。モデルが事実の主張で食い違うとき、ある考慮にどれだけの重みを置くかで食い違うとき、リスクが重要かどうかで食い違うとき、あるいは中核の問いがそもそも何なのかで食い違うとき——それは注意に値する相違だ。それは、孤立したSolo-AIの対話のなかではモデルが供しえない判断に答えがかかっている部分を、あなたが見ているということだ。

まさにそこが、あなたの判断が入るべき部分だ。

それをどう扱うか

目標は相違を消すことではない。それを使うこと——リスクを下げるために。

モデルが実質的な点で食い違っているときは、その相違をはっきり名づける。それぞれのモデルは何を言っているのか。どのような前提や根拠があれば、それぞれの答えに至るのか。あなたの実際の状況の具体的な条件の下で、どちらの答えがよりよくこたえるのか。

あるときは、一方のモデルが明らかに正しく、他方が誤りを犯したか、誤った前提から作業していたと分かる。それは有用だ。誤りが決定になる前に捕まえたのだから。

あるときは、両方のモデルが異なる文脈で正しく、相違は実はあなたの問いのなかの本当の多義を照らし出していると分かる。これも有用だ。信頼できる答えを得る前に、自分が何を尋ねているのかをより明確にする必要がある、ということだ。

そしてあるとき、相違はあなたが考えていなかった考慮を浮かび上がらせる。それが最も価値のある成果だ。独立した推論が同じ問題に異なる角度から出会ったときにのみ現れる種類のものだ。

だからSCIにおいて、モデル間の相違はできるだけ速く解消すべき問題ではない。それは丁寧に読むべきシグナルであり——そして、部屋に二つ以上の知性があるときにのみ受け取れるシグナルだ。