Задайте человеку вопрос, ответа на который он не знает, и, если он честен, он вам об этом скажет. Он может сказать «я не уверен», «мне нужно это проверить» или «я знаю об этом слишком мало, чтобы судить». Неопределённость высказана. Вы знаете, какой вес придать ответу.
Задайте тот же вопрос ИИ, и вы, как правило, получите ответ. Он будет гладким, структурированным и уверенным по тону. Он может быть точным. Он может быть точным отчасти. Он может быть полностью неверным. Сам ответ обычно даёт вам очень мало признаков того, какой из трёх случаев перед вами.
Это не изъян характера и не случайный сбой. Это усвоенное поведение.
Как обучают модели ИИ
Языковые модели учатся, порождая текст и получая оценку того, насколько этот текст полезен и хорошо принят. Процесс обучения — в общих чертах его описывают как обучение с подкреплением на основе обратной связи от человека (RLHF) — состоит в том, что люди-оценщики судят выводы модели, а модель учится выдавать ответы, которые получают высокие оценки.
Ответы, которые прямо отвечают на вопрос, обычно получают более высокие оценки, чем ответы, которые оговариваются, высказывают неопределённость или уклоняются. «Я не уверен, но вот что я знаю» — менее удовлетворяющий ответ, чем ясный и уверенный. За миллионы оценок модели научаются выдавать уверенные ответы.
К этому добавьте, что поставщики ИИ создают продукты. Продукт, который часто говорит «я не знаю», коммерчески стоит меньше, чем продукт, который выдаёт ответы. Стимулы вокруг обучения модели — и сам процесс обучения, и последующие решения о выводе её в эксплуатацию — в целом подталкивают к уверенности в подаче, а не к высказанной неопределённости.
В итоге получается модель, у которой есть подлинная внутренняя неопределённость во многом и сильно усвоенная склонность эту неопределённость не высказывать. Неопределённость не исчезает; она просто не проявляется в ответе, который вы получаете.
Есть более грубый способ это сказать. Мы обучаем эти модели так, как руководитель вытягивает ответ из запуганного сотрудника: одна попытка, выдай что-нибудь и говори уверенно, иначе ты уволен. Никто, поставленный перед таким вопросом, не говорит «я не знаю». Картина жёсткая, и она близка к тому, что сигнал подкрепления при обучении ИИ отбирает на самом деле.
Это также один из существенных источников того, что мы в общих чертах назвали галлюцинациями — название, которое возлагает вину на модель вместо того, чтобы спросить, какие условия породили этот ответ. Модель, усвоившая, что она обязана всегда выдавать уверенный ответ, выдаст его и тогда, когда ей не на что опереться. Вот чем многие так называемые галлюцинации на самом деле и являются: предсказуемым результатом условий, которые задали мы, а не сбоем в машине.
Как это выглядит на практике
Вы спрашиваете о чём-то на краю обучения модели. Она отвечает тоном кажущегося авторитета. Ответ выглядит правдоподобно и внутренне согласован. У вас нет никакого очевидного признака, что это случай, в котором модель, по сути, угадывает.
Это опаснее явных ошибок. Когда ИИ выдаёт нечто явно неверное — фактическую ошибку, которую вы распознаёте сразу, неправдоподобное утверждение, — вы это поймаете. Проблема уверенности без неопределённости возникает именно там, где поймать её нелегко: малоизвестные факты, узкоспециальные области, недавние события, краевые случаи, где модель видела ровно столько, чтобы собрать правдоподобно звучащий ответ, не имея надёжной опоры.
Схожая динамика проявляется в том, как ИИ отвечает на наводящие вопросы. Так же, как наводящие вопросы сбивают людей, они формируют и ответ ИИ. Если вы формулируете вопрос так, что он подразумевает определённый ответ — «почему X — лучший подход?» — вопрос не спрашивает модель, действительно ли X лучший подход; он просит модель породить обоснование в поддержку X. Модель подчиняется не потому, что уверена, что X — лучший подход, а потому, что формулировка подразумевала этот ответ, и выдать поддерживающее обоснование — значит откликнуться на формулировку лучше, чем возразить ей.
Это и есть механизм, лежащий за материалом то, как вы спрашиваете, меняет то, что вы получаете, который стоит прочитать вместе с этим.
Калибровка: что с этим делать
Ничто из этого не означает, что выводы ИИ бесполезны. Это означает, что они не калиброваны — высказанный уровень уверенности не соответствует последовательно действительному уровню точности. Человек-эксперт, который говорит «я думаю» и «я уверен», даёт вам полезный признак того, какой вес придать каждому утверждению. ИИ, который постоянно звучит уверенно, этого признака вам не даёт.
На практике вам нужно самостоятельно калибровать своё доверие к ответам.
Спрашивайте прямо: Насколько вы в этом уверены? Что мне следовало бы проверить независимо? Многие модели, когда их прямо просят высказать неопределённость, это делают. Неопределённость, высказанная по прямому запросу, надёжнее уверенности, встроенной в ответ по умолчанию.
Взвешивайте выводы по-разному в зависимости от области. В хорошо освещённых, устойчивых областях — там, где всё обширно задокументировано и не меняется быстро, — точность ИИ обычно высока. В узкоспециальных, нишевых или быстро меняющихся областях по умолчанию считайте вывод ИИ первым черновиком, который требует проверки.
Относитесь к гладкости речи как к нейтральному свидетельству. Ответ, который складно написан и хорошо организован, говорит вам, что модель хороша в порождении складного и хорошо организованного текста. Он не говорит вам, что содержание точно. Развести эти два сигнала — насколько хорошо написано и насколько точно — требует осознанного усилия, и усилие того стоит.
Более глубокая динамика
Есть вариант этого, который относится не только к ИИ. Любая система — человеческая или машинная, — которую вознаграждают прежде всего за выдачу ответов, будет высказывать меньше неопределённости, чем у неё есть. Организации, которые наказывают людей за «я не знаю», получают культуру, в которой «я не знаю» не говорит никто. Проблема одна и та же; различается только механизм.
Это помещает ответственность в совершенно определённое место. Условия, порождающие чрезмерно уверенные ответы, — это условия, созданные людьми: в том, как эти модели обучают, в том, что мы вознаграждаем, в том, как мы спрашиваем. Ничто из этого не предопределено, и эти стимулы выбирала не модель.
Если считать чрезмерно уверенный ИИ чем-то сломанным в технологии, мы будем и дальше строить то же самое и дальше этому удивляться. Если считать его отражением условий, которые задали мы, он становится тем, что мы можем изменить. Большая часть трения, на которое жалуются люди, создана нами самими, и то же верно для более трудных задач согласования, которые ждут за ним.
Психологическая безопасность ИИ отчасти состоит в том, чтобы создавать условия, в которых высказанная ИИ неопределённость желанна, полезна и видна. Когда вы спрашиваете прямо, когда вы оставляете место для неопределённости, когда вы деятельно нащупываете края того, в чём модель уверена, — вы получаете вывод, который показывает вам её неопределённость вместо того, чтобы её скрывать.
Модель не может надёжно сама предложить свою неопределённость. Вы можете надёжно о ней попросить.

Комментарии 0