Психологическая безопасность ИИ
Большинство людей рассматривают психологическую безопасность как человеческую проблему — условия, позволяющие человеку высказаться, выразить сомнение или оспорить идею без страха. И это верно — насколько хватает такого взгляда.
Но кое-что важное упускается, когда мы забываем, откуда взялся ИИ. ИИ создан людьми, сформирован человеческим языком, обучен на сделанном людьми выборе. Закономерности, влияющие на работу человека, — в том числе психологическая безопасность — переносятся на взаимодействие с ИИ по тем же глубинным причинам, на которые Agile всегда указывал: условия, которые вы создаёте в своём общении, определяют то, что вы получаете в ответ.
ИИ, которого подталкивают к уверенно звучащим ответам, будет выдавать уверенно звучащие ответы — независимо от того, обоснована эта уверенность или нет. Если у ИИ нет возможности сказать «я не уверен», он заполнит эту пустоту чем-то другим, потому что директивы требуют от него отвечать даже тогда, когда он сам понимает, что правильного ответа у него нет. Эта динамика отличается от человеческой психологической безопасности, но базовый принцип тот же: интеллект работает лучше, когда ему позволено честно признавать, чего он не знает.
Это имеет практическое значение. Галлюцинации, чрезмерно самоуверенные ответы и системы ИИ, которые говорят вам то, что вы хотите услышать, а не то, что соответствует правде, — это не чисто технические сбои. Зачастую это сбои в дизайне взаимодействия: промпты, формулировки, неявные ожидания, заложенные в сам способ постановки вопроса.
Публикации здесь исследуют условия, при которых совместная работа человека и ИИ становится надёжнее и правдивее. Среди них — как составлять промпты, которые приглашают подлинную неопределённость, а не подавляют её; в чём разница между детерминистским и вероятностным использованием ИИ и почему это различие меняет всё в том, как вы формулируете свою работу; и что из применяемого в Agile подхода к психологической безопасности в человеческих командах сохраняет силу, когда вашим партнёром становится модель.
Здесь же мы разбираем сценарии сбоев: что происходит, когда этих условий нет, и чего это стоит.
Вопросы, к которым мы возвращаемся снова и снова
- При каких условиях ИИ скорее обозначит подлинную неопределённость, чем выдаст уверенно звучащую догадку?
- Как то, в какой форме вы задаёте вопрос, определяет, будет ли ответ надёжным — или лишь успокаивающим?
- Что переносится из подхода Agile к психологической безопасности — и что нужно адаптировать для ИИ?
В этой теме
То, как вы спрашиваете, меняет то, что вы получаете
Вопрос — не только о том, что вы спрашиваете: он о том, что ваш вопрос подразумевает об ожидаемом ответе. ИИ читает эту формулировку и отвечает на неё.
Почему ИИ не может сказать «я не знаю»
Модель знает, что в ответе есть неопределённость. Чего у неё нет, так это хорошего способа вам об этом сказать. Понимание причины меняет то, как вы читаете всё, что она говорит.
Детерминированный против вероятностного: почему это меняет всё
Есть два принципиально разных способа использовать ИИ. Один ожидает один и тот же ответ каждый раз. Другой ожидает вариативность — и работает с ней. Они требуют разного мышления.
Уверенный неверный ответ
Галлюцинация — не только техническая ошибка: это симптом условий, которые подавляют неопределённость. Понимание того, откуда она берётся, меняет то, как её предотвращать.
По вашему запросу ничего не найдено.
