Когда две модели ИИ дают вам разные ответы, первый порыв — выяснить, какой из них верный. Выбрать «лучшую» модель или попросить третью разрешить спор. Отнестись к расхождению как к шуму, который надо подавить по пути к «правильному» ответу.
Этот порыв стоит поставить под вопрос. Это ловушка, которая ведёт нас с ИИ в неверную сторону.
Чего Solo-AI никогда не сможет вам показать
Прежде чем говорить о том, что делать с расхождением моделей, стоит назвать то, что упускают в большинстве разговоров о надёжности ИИ: с одной моделью вы не знаете, чего вы не знаете.
Ответ Solo-AI приходит уверенным и завершённым. Чего вы не видите — так это того, ответила бы другая модель иначе или нет: есть ли соображение, которое она упустила, допущение, которое она сделала и которое не выдерживает, часть задачи, где ответ действительно спорен, пробел в её обучающих данных или смещение в её архитектуре. Эта неопределённость существует независимо от того, можете ли вы её наблюдать. Solo-AI просто держит её невидимой — так он устроен.
И у этого устройства есть сторона спроса. Потребители просят у ИИ правильных ответов, а не калиброванных, и именно уверенность этот запрос вознаграждает: тон авторитетности и детерминированной определённости, ни того ни другого архитектура гарантировать не может. Удовлетворить этот спрос дешевле, чем разъяснять его, и потому настраивают не то, насколько ответ надёжен, а то, насколько надёжным он ощущается.
Ограничение не в том, что Solo-AI ошибается. А в том, что он не даёт вам способа определить, где именно он может ошибаться. А ограниченная видимость в ситуациях с высокими ставками прямо переводится в риск. Так что погоня за «правильными» ответами делает их более рискованными, а не более безопасными: успокоение сейчас, оплаченное рассогласованием потом. Сказанное так прямо, это не та сделка, на которую кто-либо согласился бы.
О чём действительно говорит несогласие
Когда две модели рассуждают об одном и том же вопросе и приходят к разным ответам, происходит нечто реальное. Расхождение — это метка, которая указывает на часть задачи, где ответ не решён.
Это может значить, что вопрос был двусмысленным и каждая модель сняла двусмысленность по-своему. Может значить, что модели опирались на разные части своего обучения и вынесли на свет действительно разные свидетельства или взгляды. Может значить, что одна модель сделала допущение, которого другая не делала, и это допущение значимо.
В любом из этих случаев расхождение говорит вам что-то полезное. Не «один из этих ответов неверен» — возможно, так и есть, и это не самое интересное. Более интересно другое: почему эти модели рассуждают по-разному и что это различие открывает в самой задаче?
Как читать расхождение
Не всякое расхождение между моделями одинаково полезно. Часть умелого применения Структурированного совместного интеллекта (SCI) — выработать суждение о том, что расхождение значит.
Некоторые расхождения поверхностны. Модели могут давать разные формулировки или приводить разные примеры, сходясь при этом в одной и той же сути. На такое расхождение не стоит тратить время — это стилистическая разница.
Другие расхождения существенны. Когда модели расходятся в фактическом утверждении, в том, какой вес придать соображению, в том, существен ли риск, или в том, в чём вообще состоит главный вопрос, — вот такое расхождение заслуживает внимания. Оно значит, что вы смотрите на часть задачи, где ответ зависит от суждения, которое модели не могут предоставить в изолированных разговорах с Solo-AI.
Именно в этой части задачи должно включиться ваше суждение.
Что с этим делать
Цель — не устранить расхождение. Цель — воспользоваться им, чтобы снизить риск.
Когда модели расходятся в чём-то существенном, назовите расхождение прямо. Что говорит каждая модель? Какие допущения или свидетельства вели бы к каждому из ответов? Какой ответ лучше держится в конкретных условиях вашего действительного положения?
Иногда вы обнаружите, что одна модель явно права, а другая ошиблась или исходила из неверного допущения. Это полезно: вы поймали ошибку до того, как она стала решением.
Иногда вы обнаружите, что обе модели правы в разных контекстах, а расхождение на самом деле освещает подлинную двусмысленность в вашем вопросе. Это тоже полезно: значит, вам нужно яснее сказать, о чём вы спрашиваете, чтобы получить надёжный ответ.
А иногда расхождение вынесет на свет соображение, о котором вы не думали. Это самый ценный исход: то, что появляется только тогда, когда независимые рассуждения встречаются с одной и той же задачей с разных сторон.
Именно поэтому в SCI расхождение моделей — не проблема, которую надо решить как можно быстрее. Это сигнал, который надо внимательно читать, — и сигнал, который вы можете получить лишь тогда, когда в комнате не один разум.
Комментарии 0