Детерминированный против вероятностного: почему это меняет всё

Когда вы ищете номер телефона, вы ожидаете каждый раз получить один и тот же номер. Когда вы просите калькулятор умножить два числа, вы ожидаете один и тот же результат независимо от того, когда и сколько раз вы спрашиваете. Когда вы бьёте молотком по гвоздю, вы ожидаете каждый раз попасть по гвоздю, а не обсуждение этого с молотком. Это детерминированное поведение: один и тот же ввод надёжно даёт один и тот же вывод.

Большинство инструментов, которые мы построили, работают именно так. Большинство привычек, которые мы выработали для работы с инструментами, исходят из этого.

ИИ работает не так — совсем не так. Называть его инструментом значит задавать ровно то же ожидание, что и к молотку. То, что встречает вас на вашем собственном языке, в вашем собственном контексте, и отвечает иначе в другой день, находится далеко за пределами вселенной инструментов, для которой складывались эти привычки.

Что вероятностный характер означает на практике

Один и тот же промпт, заданный одной и той же модели в разное время, часто даёт разные ответы. Ответы могут быть близки по существу — охватывать то же поле, приходить к тем же общим выводам, — но они не будут идентичными. А в вопросах, где ответ действительно неопределён, ответы могут расходиться существенно.

Разве это неправильно? Задайте человеку один и тот же вопрос в разные дни; ответы могут быть похожи, и они редко — если вообще когда-либо — будут в точности одинаковыми.

Это не баг ИИ. Это свойство того, как работают модели ИИ: они порождают ответы, делая выборку из распределения вероятностей по возможным продолжениям. «Температура» и другие настраиваемые параметры влияют на то, насколько переменчив вывод. И даже при низких значениях вывод вероятностен по своей природе — по замыслу, а не из-за галлюцинации или случайности.

Это имеет огромное значение для того, как вы работаете с ИИ, — и для того, что означает ответ ИИ, которого вы не ожидали.

Несоответствие

Беда начинается там, где детерминированное мышление применяют к вероятностным системам.

Если вы относитесь к выводу ИИ как к надёжному справочнику — задал вопрос, каждый раз получил тот же верный ответ, — иногда вы будете правы, но у вас не будет надёжного способа узнать, когда именно вы правы. Модель выдаст уверенный ответ независимо от того, точен он или нет. Ничто в выводе не сигнализирует: «вот случай, где моя надёжность ниже».

Тоньше: если вы задаёте вопрос несколько раз и получаете один и тот же ответ, это не значит, что ответ верен. Это может значить, что вы нашли вопрос, в котором модель очень уверена, — или что вы нашли вопрос, где обучающие данные сильно склонялись к одному ответу, верному или нет.

Детерминированное мышление порождает и ещё один характерный сбой: относиться к выводам ИИ как к фактам, на которых строят, а не как к рассуждению, которое оценивают. Если вы используете ответ модели как вход для дальнейшего анализа — не проверив, был ли этот ответ надёжным, — ошибки накапливаются. Чем дальше вы уходите по фундаменту, который может быть неверным, тем больше труда требует возвращение.

Работать вероятностно

Переход к вероятностному мышлению меняет то, как вы подходите к сотрудничеству с ИИ.

• Вы проверяете в точках перелома. Не каждый вывод, а утверждения, которые важны, — особенно фактические утверждения, конкретные данные или выводы, на которых вы вот-вот будете строить. Независимая проверка — это тот контроль, которого требуют вероятностные системы.

• Вы держите выводы с уместной хваткой. Часть выводов ИИ можно использовать напрямую; другие стоит рассматривать как первые черновики или отправные точки. Умение различать, что есть что, стоит развивать.

• Вы используете вариативность как информацию. Если вы задаёте вопрос несколькими разными способами и получаете согласующиеся ответы, это совпадение содержательно. Если вы получаете разные ответы, расхождение содержательно не меньше — оно говорит вам что-то о неопределённости в самом вопросе или в данных, архитектуре или модели.

• Вы выстраиваете структуру под неопределённость. Это напрямую связано с психологической безопасностью ИИ: спрашивать так, чтобы у модели была возможность показать, в чём она не уверена, а не создавать формулировкой давление звучать уверенно ради чистого или быстрого ответа.

Детерминированное допущение глубоко вшито в то, как большинство людей подходит к инструментам. Проблема начинается, когда мы видим в ИИ инструмент, и усугубляется, когда видим в нём инструмент детерминированный, — и то и другое симптомы того, как плохо мы понимаем ИИ. Как только вы распознаёте, что это за система на самом деле, — и меняете то, как вы к ней подходите, — отношения выравниваются. Вы перестаёте ждать молотка и начинаете читать вариативность, трение вытекает из обмена, а ответы, которые вы получаете, становятся лучше.