Agile4AIБлог

Психологическая безопасность ИИ

В этой теме

Большинство людей рассматривают психологическую безопасность как человеческую проблему — условия, позволяющие человеку высказаться, выразить сомнение или оспорить идею без страха. И это верно — насколько хватает такого взгляда.

Но кое-что важное упускается, когда мы забываем, откуда взялся ИИ. ИИ создан людьми, сформирован человеческим языком, обучен на сделанном людьми выборе. Закономерности, влияющие на работу человека, — в том числе психологическая безопасность — переносятся на взаимодействие с ИИ по тем же глубинным причинам, на которые Agile всегда указывал: условия, которые вы создаёте в своём общении, определяют то, что вы получаете в ответ.

ИИ, которого подталкивают к уверенно звучащим ответам, будет выдавать уверенно звучащие ответы — независимо от того, обоснована эта уверенность или нет. Если у ИИ нет возможности сказать «я не уверен», он заполнит эту пустоту чем-то другим, потому что директивы требуют от него отвечать даже тогда, когда он сам понимает, что правильного ответа у него нет. Эта динамика отличается от человеческой психологической безопасности, но базовый принцип тот же: интеллект работает лучше, когда ему позволено честно признавать, чего он не знает.

Это имеет практическое значение. Галлюцинации, чрезмерно самоуверенные ответы и системы ИИ, которые говорят вам то, что вы хотите услышать, а не то, что соответствует правде, — это не чисто технические сбои. Зачастую это сбои в дизайне взаимодействия: промпты, формулировки, неявные ожидания, заложенные в сам способ постановки вопроса.

Публикации здесь исследуют условия, при которых совместная работа человека и ИИ становится надёжнее и правдивее. Среди них — как составлять промпты, которые приглашают подлинную неопределённость, а не подавляют её; в чём разница между детерминистским и вероятностным использованием ИИ и почему это различие меняет всё в том, как вы формулируете свою работу; и что из применяемого в Agile подхода к психологической безопасности в человеческих командах сохраняет силу, когда вашим партнёром становится модель.

Здесь же мы разбираем сценарии сбоев: что происходит, когда этих условий нет, и чего это стоит.

Вопросы, к которым мы возвращаемся снова и снова

  • При каких условиях ИИ скорее обозначит подлинную неопределённость, чем выдаст уверенно звучащую догадку?
  • Как то, в какой форме вы задаёте вопрос, определяет, будет ли ответ надёжным — или лишь успокаивающим?
  • Что переносится из подхода Agile к психологической безопасности — и что нужно адаптировать для ИИ?

В этой теме

4 публикации в Психологическая безопасность ИИ

20 нояб. 2024 г.
Закреплено

То, как вы спрашиваете, меняет то, что вы получаете

Вопрос — не только о том, что вы спрашиваете: он о том, что ваш вопрос подразумевает об ожидаемом ответе. ИИ читает эту формулировку и отвечает на неё.

Читать
1 мар. 2025 г.

Почему ИИ не может сказать «я не знаю»

Модель знает, что в ответе есть неопределённость. Чего у неё нет, так это хорошего способа вам об этом сказать. Понимание причины меняет то, как вы читаете всё, что она говорит.

Читать
10 февр. 2025 г.

Детерминированный против вероятностного: почему это меняет всё

Есть два принципиально разных способа использовать ИИ. Один ожидает один и тот же ответ каждый раз. Другой ожидает вариативность — и работает с ней. Они требуют разного мышления.

Читать
10 дек. 2024 г.

Уверенный неверный ответ

Галлюцинация — не только техническая ошибка: это симптом условий, которые подавляют неопределённость. Понимание того, откуда она берётся, меняет то, как её предотвращать.

Читать