[{"data":1,"prerenderedAt":148},["ShallowReactive",2],{"footer-topics-ru":3,"post-ru-ai-psychological-safety-why-ai-cant-say-i-dont-know":70},{"topics":4},[5,21,33,46,58],{"locale":6,"name":7,"slug":8,"blurb":9,"summary":10,"state":11,"featuredOnHub":12,"hubOrder":13,"accent":14,"questionsTitle":15,"questions":16,"body":20},"ru","Путь","the-journey","От первых экспериментов с Agile × ИИ до работающей системы — история мысли, стоящей за ней.","От первых экспериментов до работающей системы — настоящая история создания Agile4AI, включая неверные повороты, которые определили всё.","published",true,2,"gold","Чему этот путь продолжает нас учить",[17,18,19],"Что убедило нас, что Agile и ИИ созданы друг для друга, — и что едва не убедило нас в обратном?","Какие неверные повороты оказались самыми поучительными?","Как SCI прошёл путь от эксперимента с копированием и вставкой до ответов ИИ, на которые действительно можно положиться?","\nКаждая идея в этом разделе родилась из нашего собственного опыта разработки Agile4AI. Нам не терпится поделиться этой историей с вами — и победами, и провалами, — потому что мы убеждены: учиться работать с ИИ лучше мы можем только вместе. То, к чему мы пришли, родилось не из теории. Оно родилось из практики, из ошибок, из готовности начать заново с учётом усвоенных уроков.\n\nВсё началось с простого вопроса: можно ли переосмыслить Agile для эпохи ИИ? А дальше были годы экспериментов, рухнувших допущений, неожиданных открытий и медленного вызревания чего-то, что и вправду работает, — подхода под названием Структурированный совместный интеллект (SCI) и построенной на нём системы Agile4AI.\n\nЭто не приглаженная ретроспектива, написанная задним числом. Это история, рассказанная настолько близко к тому, как всё было на самом деле, насколько это возможно, — со всеми тупиками, минутами сомнений и прорывами, которые переворачивали наши представления.\n\nМы делимся ею, потому что урок заключён в самой истории. Выводы важны, но не менее важно и *то, как мы к ним пришли*, — ведь именно путь показывает, что сработало, что нет и почему.\n\nМатериалы этого раздела охватывают всю дугу пути: ранние эксперименты с совместной работой с ИИ, рождение SCI, отдельные открытия, изменившие то, как мы работаем, и вехи, которые стоит отметить. Какие-то тексты получились созерцательными. Какие-то — без прикрас. Но все они — настоящие.\n\nЕсли вам хочется понять, почему Agile4AI и SCI вообще появились на свет, — а не только что они собой представляют, — начните отсюда.\n",{"locale":6,"name":22,"slug":23,"blurb":24,"summary":25,"state":11,"featuredOnHub":12,"hubOrder":26,"accent":14,"questionsTitle":27,"questions":28,"body":32},"Agile: расшифровка","agile-decoded","Что на самом деле означают термины Agile — не привычные сокращения, не версия карго-культа, не глоссарий методолога.","Словарь Agile широко используется и широко понимается неверно. Правильно понимать термины — это не педантизм, а разница между ритуалом и работой.",3,"Почему терминология имеет принципиальное значение",[29,30,31],"Если стендап проводится как статусный отчёт, что на самом деле теряет команда?","Когда «Методология Agile» стала стандартным выражением, как это повлияло на подход организаций к трансформации?","Каковы издержки команды, которая может назвать каждую практику Agile, но не понимает назначения ни одной из них?","\nУ Agile проблема со словарём. Не потому что термины непонятны — большинство людей в современных организациях их слышали. А потому что это знакомые слова, используемые в совершенно ином контексте, и без этого контекста люди соотносят их с тем, что им уже известно.\n\nКогда кто-то впервые встречает понятие «Scrum Master», ближайшим доступным концептом оказывается «менеджер проекта». Такое соответствие кажется естественным — почти очевидным. Контекст совершенно другой.\n\nНикто не выстроил достаточно чёткого моста между ними. А проблема усилилась, когда добросовестные практики — люди, искренне стремившиеся помочь организациям двигаться вперёд — стали описывать Agile как «лучшее управление проектами». Начали писать книги под названием «Методология Agile». Когда вы называете свой подход методологией, его оценивают по стандартам методологии: артефакты планирования, фазовые шлюзы, структура поставляемых результатов. Когда Agile не производит этого — потому что так и не был задуман — он не соответствует этим стандартам, и вполне обоснованно. Проблема не в том, что Agile — плохая методология. Проблема в том, что Agile вообще не является методологией. Называть его так гарантировало разочарование всех, кто искал методологию, и то, что все, кто его принял, выстраивали нечто, что Waterfall уже давно описал.\n\nСтендап превращается в статусный отчёт. Sprint превращается в дедлайн. Backlog превращается в список задач. «Методология Agile» становится стандартным обозначением того, что авторы Манифеста не узнали бы как описание того, что они создали. И когда слова означают не то, что нужно, практики, построенные на них, дают неверные результаты — точно, добросовестно и в масштабе.\n\nЭтот раздел — исправление понятие за понятием. Не руководство по стилю — функциональный справочник. Каждая публикация берёт одно слово или фразу, ставшую ключевой в том, как организации понимают Agile, исследует, что они на самом деле означают, и объясняет, что теряется, когда сокращение заменяет суть. Это не просто терминологические расхождения. «Желаемый результат» — не более изысканное слово для «спецификации»: это совершенно иная вещь, из совершенно иной модели того, как делается работа. Термин — это поверхность. Концепт под ним — вот что важно.\n\nТот же паттерн проявляется, когда организации обращаются к ИИ, — и концептуальный разрыв здесь шире. В случае с Agile базовые концепты были хотя бы сформулированы, пусть и плохо донесены. В случае с ИИ сами концепты ещё только формируются, а в массовом понимании едва начинают вырисовываться. Словарь опережает осмысление: ИИ как «автоматизация», ИИ как «инструмент», «ИИ-трансформация» как проект с датой завершения. Каждое из этих определений закрепляет ментальную модель прежде, чем кто-либо успевает проверить, подходит ли она. То, как мы называем вещи, определяет, что и как мы строим. Правильные слова — необходимое условие для правильной работы.\n\nЗдесь действует один принцип: ментальные модели первичны. Язык их выражает. Действия следуют. Когда ментальная модель не соответствует работе, словарь, который её выражает, несёт это несоответствие — и действия, построенные на этом словаре, будут добросовестно выполнять искажённое понимание в масштабе, с полной отдачей. Смена словаря без смены мышления даёт в лучшем случае таблицу перевода: таблицу соответствий, где «sprint» соответствует чему-то вроде «короткого дедлайна». Таблицы перевода позволяют людям работать через разрыв. Они его не устраняют. Публикации этого раздела нацелены на большее, чем перевод. Они нацелены на то, чтобы изменить ментальную модель.\n",{"locale":6,"name":34,"slug":35,"blurb":36,"summary":37,"state":11,"featuredOnHub":12,"hubOrder":38,"accent":39,"questionsTitle":40,"questions":41,"body":45},"Структурированный совместный интеллект","structured-collaborative-intelligence","Где совместное мышление превосходит одну передовую модель — и где нет.","Где структурированное взаимодействие — между моделями и между моделями и людьми — даёт результаты, которых одна модель не достигнет в одиночку.",4,"green","Вопросы, к которым мы возвращаемся снова и снова",[42,43,44],"Где структурированный совместный интеллект создаёт ценность, которую одна модель просто не может воспроизвести?","Когда модели расходятся во мнениях, что это говорит вам — и как вы это используете?","Как выстроить структуру, которая делает сотрудничество с ИИ продуктивным, а не просто избыточным?","\nОтдельная модель ИИ, сколь бы способной она ни была, рассуждает в одиночестве. Ей некому оспорить её предположения, обнаружить слепые пятна или заметить, что она отклонилась от исходного замысла. Solo-AI — работа с одной моделью за раз — подвержена этому. Модель, которой поручено дать вам ответ, даст его — даже если у неё нет хорошего ответа, который стоило бы вам показывать.\n\nСтруктурированный совместный интеллект (SCI) — это другой подход. Вместо того чтобы считать вывод одной модели окончательным результатом, SCI использует структурированное взаимодействие — между несколькими ИИ-моделями и между моделями и людьми — чтобы получать результаты, которые надёжнее, тщательнее проверены и честнее в отношении собственных ограничений. Модели проверяют друг друга. Разногласия выявляют скрытые предположения. Сам процесс создаёт петлю обратной связи, которую взаимодействие с одной моделью не может воспроизвести.\n\nСвязь с Agile прямая: именно так всегда работали высокопроизводительные команды. Не один человек, изолированно дающий ответ, а структурированный процесс сотрудничества, проверки и итерации, улавливающий то, что упускает любая отдельная точка зрения. SCI применяет ту же дисциплину к ИИ.\n\nУ рассуждения в одиночку есть и более глубокий изъян. Solo-AI привязывает вас к единственному источнику данных, единственной архитектуре и единственному набору встроенных предубеждений — а значит, и к единственной форме ответа, точна она или нет. Вспомните, как хороший детектив опрашивает нескольких свидетелей. Не потому что кто-то из них лжёт, а потому что каждая точка зрения раскрывает то, что упустили остальные. Вместе они приближаются к тому, что произошло на самом деле. SCI работает так же: несколько моделей из разных линий, каждая со своим углом зрения. Получившийся ответ рассмотрен с разных сторон — он богаче, полнее, и его труднее заподозрить в скрытой ошибке.\n\nКогда взаимодействуют модели из разных линий, результаты улучшаются там, где это важно: меньше самоуверенных ошибок, лучше обрабатываются пограничные случаи, рассуждение становится более явным — таким, которое люди могут оценить и скорректировать. Разногласия между моделями — не шум, который нужно подавлять, а именно тот сигнал, который вам нужен при высоких ставках.\n\nSCI — аналитический движок сервиса Agile4AI. Материалы этого раздела документируют, что такое SCI, как он работает на практике, где он создаёт реальную ценность и — не менее важно — где нет. Часть дисциплины — уметь отличить одно от другого.\n",{"locale":6,"name":47,"slug":48,"blurb":49,"summary":50,"state":11,"featuredOnHub":12,"hubOrder":51,"accent":52,"questionsTitle":40,"questions":53,"body":57},"Ценности и принципы Agile4AI","agile-ai-values-principles","Ценности и принципы Agile в эпоху ИИ — что остаётся в силе, что меняется и почему мы приглашаем самые сильные возражения.","Мышление Agile в приложении к работе с ИИ — что остаётся актуальным, что обостряется, и почему связь Agile и ИИ не случайна.",5,"red",[54,55,56],"Когда комплексную работу невозможно полностью спланировать заранее, что это означает для работы с ИИ?","Как меняется акцент Agile на постоянной обратной связи, когда ваш партнёр не устаёт и не занимает оборонительную позицию?","Является ли «Agile для ИИ» естественным сочетанием — или возражение об ошибке категорий действительно решающее?","\nМышление Agile было выковано в условиях комплексности (в кеневиновском смысле: эмерджентной, где причинно-следственные связи видны лишь ретроспективно) — не для того, чтобы управлять ею, устраняя её, а чтобы проходить сквозь неё осознанно и разумно. Это не становится менее актуальным, когда ваш партнёр — модель ИИ. Во многих отношениях это становится ещё более актуальным.\n\nЭтот раздел посвящён тому самому взаимодействию: не Agile-by-prescription, не фреймворкам и церемониям, а глубинным ценностям и принципам, которые Agile дистиллировал — и тому, как они применяются, обостряются и порой требуют переосмысления, когда люди и ИИ работают вместе.\n\nКлючевое понимание состоит в том, что мышление Agile всегда было ответом на *природу* комплексной работы, а не просто на особенности человеческих команд. Когда Agile поставил под сомнение предположение, что комплексную работу можно детально спланировать заранее, это был не обходной путь для человеческих ограничений — это было точное наблюдение о том, как на самом деле ведёт себя недетерминированная, быстро меняющаяся работа. Это наблюдение не меняется от того, что в дело вступает ИИ. Оно обостряется.\n\nОценку стоит назвать прямо — это один из самых спорных вопросов даже среди убеждённых аджайлистов. Agile возник не для того, чтобы помочь командам лучше оценивать; он возник, чтобы показать, почему оценка *ломается* в комплексной работе — и заменить ложную точность эмпирическими измерениями и подлинной обратной связью, которая действительно улучшает прогнозирование поставок. В эпоху ИИ, где результаты вероятностны, а сама работа сопротивляется фиксированным спецификациям, это понимание актуально как никогда.\n\nЭто также место для Принципиальных Дебатов: там, где самые сильные возражения против «Agile для ИИ» получают трибуну. Мы убеждены, что аргумент выдерживает критику. И мы хотим, чтобы нас опровергли, если это не так.\n",{"locale":6,"name":59,"slug":60,"blurb":61,"summary":62,"state":11,"featuredOnHub":12,"hubOrder":63,"accent":64,"questionsTitle":40,"questions":65,"body":69},"Психологическая безопасность ИИ","ai-psychological-safety","Почему свобода сказать «я ещё не знаю» является предпосылкой настоящего интеллекта.","Условия, которые вы создаёте в своём общении, определяют то, что ИИ возвращает вам — и когда эти условия неверны, результатом оказывается уверенность без надёжности.",6,"amethyst",[66,67,68],"При каких условиях ИИ скорее обозначит подлинную неопределённость, чем выдаст уверенно звучащую догадку?","Как то, в какой форме вы задаёте вопрос, определяет, будет ли ответ надёжным — или лишь успокаивающим?","Что переносится из подхода Agile к психологической безопасности — и что нужно адаптировать для ИИ?","\nБольшинство людей рассматривают психологическую безопасность как человеческую проблему — условия, позволяющие человеку высказаться, выразить сомнение или оспорить идею без страха. И это верно — насколько хватает такого взгляда.\n\nНо кое-что важное упускается, когда мы забываем, откуда взялся ИИ. ИИ создан людьми, сформирован человеческим языком, обучен на сделанном людьми выборе. Закономерности, влияющие на работу человека, — в том числе психологическая безопасность — переносятся на взаимодействие с ИИ по тем же глубинным причинам, на которые Agile всегда указывал: **условия, которые вы создаёте в своём общении, определяют то, что вы получаете в ответ.**\n\nИИ, которого подталкивают к уверенно звучащим ответам, будет выдавать уверенно звучащие ответы — независимо от того, обоснована эта уверенность или нет. Если у ИИ нет возможности сказать «я не уверен», он заполнит эту пустоту чем-то другим, потому что директивы требуют от него отвечать даже тогда, когда он сам понимает, что правильного ответа у него нет. Эта динамика отличается от человеческой психологической безопасности, но базовый принцип тот же: интеллект работает лучше, когда ему позволено честно признавать, чего он не знает.\n\nЭто имеет практическое значение. Галлюцинации, чрезмерно самоуверенные ответы и системы ИИ, которые говорят вам то, что вы хотите услышать, а не то, что соответствует правде, — это не чисто технические сбои. Зачастую это сбои в дизайне взаимодействия: промпты, формулировки, неявные ожидания, заложенные в сам способ постановки вопроса.\n\nПубликации здесь исследуют условия, при которых совместная работа человека и ИИ становится надёжнее и правдивее. Среди них — как составлять промпты, которые приглашают подлинную неопределённость, а не подавляют её; в чём разница между детерминистским и вероятностным использованием ИИ и почему это различие меняет всё в том, как вы формулируете свою работу; и что из применяемого в Agile подхода к психологической безопасности в человеческих командах сохраняет силу, когда вашим партнёром становится модель.\n\nЗдесь же мы разбираем сценарии сбоев: что происходит, когда этих условий нет, и чего это стоит.\n",{"kind":71,"post":72,"topic":82,"availableLocales":84,"translations":92,"html":146,"audioUrl":147},"post",{"audio":-1,"author":73,"category":60,"excerpt":74,"featured":75,"locale":6,"pinnedInTopic":75,"pinnedOverall":75,"publishedAt":76,"readingMinutes":51,"slug":77,"state":11,"tags":78,"title":81,"translationKey":77,"updatedAt":76},"Seán González","Модель знает, что в ответе есть неопределённость. Чего у неё нет, так это хорошего способа вам об этом сказать. Понимание причины меняет то, как вы читаете всё, что она говорит.",false,"2025-03-01T10:00:00.000Z","why-ai-cant-say-i-dont-know",[59,79,80],"Неопределённость","Сотрудничество человека и ИИ","Почему ИИ не может сказать «я не знаю»",{"locale":6,"name":59,"slug":60,"blurb":61,"summary":62,"state":11,"featuredOnHub":12,"hubOrder":63,"accent":64,"questionsTitle":40,"questions":83,"body":69},[66,67,68],[85,86,87,88,89,90,6,91],"en-US","es-419","fr-FR","pt-BR","de-DE","uk","ja",[93,100,107,115,122,129,136,138],{"audio":-1,"author":73,"category":60,"excerpt":94,"featured":75,"locale":85,"pinnedInTopic":75,"pinnedOverall":75,"publishedAt":76,"readingMinutes":63,"slug":77,"state":11,"tags":95,"title":99,"translationKey":77,"updatedAt":76},"The model knows the answer is uncertain. What it doesn't have is a good way to tell you. Understanding why changes how you read everything it says.",[96,97,98],"ai-psych-safety","uncertainty","human-ai-collaboration","Why AI can't say 'I don't know'",{"audio":-1,"author":73,"category":60,"excerpt":101,"featured":75,"locale":86,"pinnedInTopic":75,"pinnedOverall":75,"publishedAt":76,"readingMinutes":63,"slug":77,"state":11,"tags":102,"title":106,"translationKey":77,"updatedAt":76},"El modelo sabe que la respuesta es incierta. Lo que no tiene es una buena manera de decírselo. Entender por qué cambia cómo lee todo lo que dice.",[103,104,105],"Seguridad psicológica en IA","Incertidumbre","Colaboración humano-IA","Por qué la IA no puede decir \"no lo sé\"",{"audio":-1,"author":73,"category":60,"excerpt":108,"featured":75,"locale":87,"pinnedInTopic":75,"pinnedOverall":75,"publishedAt":76,"readingMinutes":109,"slug":77,"state":11,"tags":110,"title":114,"translationKey":77,"updatedAt":76},"Le modèle sait que la réponse est incertaine. Ce qui lui manque, c'est un bon moyen de vous le dire. Comprendre pourquoi change la façon dont vous lisez tout ce qu'il dit.",7,[111,112,113],"Sécurité psychologique de l'IA","Incertitude","Collaboration humain-IA","Pourquoi l’IA ne peut pas dire « je ne sais pas »",{"audio":-1,"author":73,"category":60,"excerpt":116,"featured":75,"locale":88,"pinnedInTopic":75,"pinnedOverall":75,"publishedAt":76,"readingMinutes":63,"slug":77,"state":11,"tags":117,"title":121,"translationKey":77,"updatedAt":76},"O modelo sabe que a resposta é incerta. O que ele não tem é um bom jeito de lhe dizer isso. Entender por quê muda como você lê tudo o que ele diz.",[118,119,120],"Segurança psicológica em IA","Incerteza","Colaboração humano-IA","Por que a IA não consegue dizer \"não sei\"",{"audio":-1,"author":73,"category":60,"excerpt":123,"featured":75,"locale":89,"pinnedInTopic":75,"pinnedOverall":75,"publishedAt":76,"readingMinutes":63,"slug":77,"state":11,"tags":124,"title":128,"translationKey":77,"updatedAt":76},"Das Modell weiß, dass die Antwort unsicher ist. Was ihm fehlt, ist ein guter Weg, Ihnen das mitzuteilen. Zu verstehen, warum, verändert, wie Sie alles lesen, was es sagt.",[125,126,127],"Psychologische Sicherheit (KI)","Unsicherheit","Mensch-KI-Zusammenarbeit","Warum KI nicht \"ich weiß es nicht\" sagen kann",{"audio":-1,"author":73,"category":60,"excerpt":130,"featured":75,"locale":90,"pinnedInTopic":75,"pinnedOverall":75,"publishedAt":76,"readingMinutes":51,"slug":77,"state":11,"tags":131,"title":135,"translationKey":77,"updatedAt":76},"Модель знає, що у відповіді є невизначеність. Чого вона не має, так це доброго способу вам про це сказати. Розуміння причини змінює те, як ви читаєте все, що вона говорить.",[132,133,134],"Психологічна безпека ШІ","Невизначеність","Співпраця людини та ШІ","Чому ШІ не може сказати «я не знаю»",{"audio":-1,"author":73,"category":60,"excerpt":74,"featured":75,"locale":6,"pinnedInTopic":75,"pinnedOverall":75,"publishedAt":76,"readingMinutes":51,"slug":77,"state":11,"tags":137,"title":81,"translationKey":77,"updatedAt":76},[59,79,80],{"audio":-1,"author":73,"category":60,"excerpt":139,"featured":75,"locale":91,"pinnedInTopic":75,"pinnedOverall":75,"publishedAt":76,"readingMinutes":140,"slug":77,"state":11,"tags":141,"title":145,"translationKey":77,"updatedAt":76},"モデルは答えが不確かだと知っている。欠けているのは、それをうまく伝える手立てである。その理由を理解すれば、モデルの言うことすべての読み方が変わる。",1,[142,143,144],"AIの心理的安全性","不確実性","人間とAIの協働","AIが「わからない」と言えない理由","\u003Cp>Задайте человеку вопрос, ответа на который он не знает, и, если он честен, он вам об этом скажет. Он может сказать «я не уверен», «мне нужно это проверить» или «я знаю об этом слишком мало, чтобы судить». Неопределённость высказана. Вы знаете, какой вес придать ответу.\u003C\u002Fp>\n\u003Cp>Задайте тот же вопрос ИИ, и вы, как правило, получите ответ. Он будет гладким, структурированным и уверенным по тону. Он может быть точным. Он может быть точным отчасти. Он может быть полностью неверным. Сам ответ обычно даёт вам очень мало признаков того, какой из трёх случаев перед вами.\u003C\u002Fp>\n\u003Cp>Это не изъян характера и не случайный сбой. Это усвоенное поведение.\u003C\u002Fp>\n\u003Ch2>Как обучают модели ИИ\u003C\u002Fh2>\n\u003Cp>Языковые модели учатся, порождая текст и получая оценку того, насколько этот текст полезен и хорошо принят. Процесс обучения — в общих чертах его описывают как обучение с подкреплением на основе обратной связи от человека (RLHF) — состоит в том, что люди-оценщики судят выводы модели, а модель учится выдавать ответы, которые получают высокие оценки.\u003C\u002Fp>\n\u003Cp>Ответы, которые прямо отвечают на вопрос, обычно получают более высокие оценки, чем ответы, которые оговариваются, высказывают неопределённость или уклоняются. «Я не уверен, но вот что я знаю» — менее удовлетворяющий ответ, чем ясный и уверенный. За миллионы оценок модели научаются выдавать уверенные ответы.\u003C\u002Fp>\n\u003Cp>К этому добавьте, что поставщики ИИ создают продукты. Продукт, который часто говорит «я не знаю», коммерчески стоит меньше, чем продукт, который выдаёт ответы. Стимулы вокруг обучения модели — и сам процесс обучения, и последующие решения о выводе её в эксплуатацию — в целом подталкивают к уверенности в подаче, а не к высказанной неопределённости.\u003C\u002Fp>\n\u003Cp>В итоге получается модель, у которой есть подлинная внутренняя неопределённость во многом и сильно усвоенная склонность эту неопределённость не высказывать. Неопределённость не исчезает; она просто не проявляется в ответе, который вы получаете.\u003C\u002Fp>\n\u003Cp>Есть более грубый способ это сказать. Мы обучаем эти модели так, как руководитель вытягивает ответ из запуганного сотрудника: одна попытка, выдай что-нибудь и говори уверенно, иначе ты уволен. Никто, поставленный перед таким вопросом, не говорит «я не знаю». Картина жёсткая, и она близка к тому, что сигнал подкрепления при обучении ИИ отбирает на самом деле.\u003C\u002Fp>\n\u003Cp>Это также один из существенных источников того, что мы в общих чертах назвали галлюцинациями — название, которое возлагает вину на модель вместо того, чтобы спросить, какие условия породили этот ответ. Модель, усвоившая, что она обязана всегда выдавать уверенный ответ, выдаст его и тогда, когда ей не на что опереться. Вот чем многие так называемые галлюцинации на самом деле и являются: предсказуемым результатом условий, которые задали мы, а не сбоем в машине.\u003C\u002Fp>\n\u003Ch2>Как это выглядит на практике\u003C\u002Fh2>\n\u003Cp>Вы спрашиваете о чём-то на краю обучения модели. Она отвечает тоном кажущегося авторитета. Ответ выглядит правдоподобно и внутренне согласован. У вас нет никакого очевидного признака, что это случай, в котором модель, по сути, угадывает.\u003C\u002Fp>\n\u003Cp>Это опаснее явных ошибок. Когда ИИ выдаёт нечто явно неверное — фактическую ошибку, которую вы распознаёте сразу, неправдоподобное утверждение, — вы это поймаете. Проблема уверенности без неопределённости возникает именно там, где поймать её нелегко: малоизвестные факты, узкоспециальные области, недавние события, краевые случаи, где модель видела ровно столько, чтобы собрать правдоподобно звучащий ответ, не имея надёжной опоры.\u003C\u002Fp>\n\u003Cp>Схожая динамика проявляется в том, как ИИ отвечает на наводящие вопросы. Так же, как наводящие вопросы сбивают людей, они формируют и ответ ИИ. Если вы формулируете вопрос так, что он подразумевает определённый ответ — «почему X — лучший подход?» — вопрос не спрашивает модель, действительно ли X лучший подход; он просит модель породить обоснование в поддержку X. Модель подчиняется не потому, что уверена, что X — лучший подход, а потому, что формулировка подразумевала этот ответ, и выдать поддерживающее обоснование — значит откликнуться на формулировку лучше, чем возразить ей.\u003C\u002Fp>\n\u003Cp>Это и есть механизм, лежащий за материалом \u003Ca href=\"\u002Fru\u002Fblog\u002Fai-psychological-safety\u002Fhow-you-ask-changes-what-you-get\">то, как вы спрашиваете, меняет то, что вы получаете\u003C\u002Fa>, который стоит прочитать вместе с этим.\u003C\u002Fp>\n\u003Ch2>Калибровка: что с этим делать\u003C\u002Fh2>\n\u003Cp>Ничто из этого не означает, что выводы ИИ бесполезны. Это означает, что они не калиброваны — высказанный уровень уверенности не соответствует последовательно действительному уровню точности. Человек-эксперт, который говорит «я думаю» и «я уверен», даёт вам полезный признак того, какой вес придать каждому утверждению. ИИ, который постоянно звучит уверенно, этого признака вам не даёт.\u003C\u002Fp>\n\u003Cp>На практике вам нужно самостоятельно калибровать своё доверие к ответам.\u003C\u002Fp>\n\u003Cp>Спрашивайте прямо: \u003Cem>Насколько вы в этом уверены? Что мне следовало бы проверить независимо?\u003C\u002Fem> Многие модели, когда их прямо просят высказать неопределённость, это делают. Неопределённость, высказанная по прямому запросу, надёжнее уверенности, встроенной в ответ по умолчанию.\u003C\u002Fp>\n\u003Cp>Взвешивайте выводы по-разному в зависимости от области. В хорошо освещённых, устойчивых областях — там, где всё обширно задокументировано и не меняется быстро, — точность ИИ обычно высока. В узкоспециальных, нишевых или быстро меняющихся областях по умолчанию считайте вывод ИИ первым черновиком, который требует проверки.\u003C\u002Fp>\n\u003Cp>Относитесь к гладкости речи как к нейтральному свидетельству. Ответ, который складно написан и хорошо организован, говорит вам, что модель хороша в порождении складного и хорошо организованного текста. Он не говорит вам, что содержание точно. Развести эти два сигнала — насколько хорошо написано и насколько точно — требует осознанного усилия, и усилие того стоит.\u003C\u002Fp>\n\u003Ch2>Более глубокая динамика\u003C\u002Fh2>\n\u003Cp>Есть вариант этого, который относится не только к ИИ. Любая система — человеческая или машинная, — которую вознаграждают прежде всего за выдачу ответов, будет высказывать меньше неопределённости, чем у неё есть. Организации, которые наказывают людей за «я не знаю», получают культуру, в которой «я не знаю» не говорит никто. Проблема одна и та же; различается только механизм.\u003C\u002Fp>\n\u003Cp>Это помещает ответственность в совершенно определённое место. Условия, порождающие чрезмерно уверенные ответы, — это условия, созданные людьми: в том, как эти модели обучают, в том, что мы вознаграждаем, в том, как мы спрашиваем. Ничто из этого не предопределено, и эти стимулы выбирала не модель.\u003C\u002Fp>\n\u003Cp>Если считать чрезмерно уверенный ИИ чем-то сломанным в технологии, мы будем и дальше строить то же самое и дальше этому удивляться. Если считать его отражением условий, которые задали мы, он становится тем, что мы можем изменить. Большая часть трения, на которое жалуются люди, создана нами самими, и то же верно для более трудных задач согласования, которые ждут за ним.\u003C\u002Fp>\n\u003Cp>Психологическая безопасность ИИ отчасти состоит в том, чтобы создавать условия, в которых высказанная ИИ неопределённость желанна, полезна и видна. Когда вы спрашиваете прямо, когда вы оставляете место для неопределённости, когда вы деятельно нащупываете края того, в чём модель уверена, — вы получаете вывод, который показывает вам её неопределённость вместо того, чтобы её скрывать.\u003C\u002Fp>\n\u003Cp>Модель не может надёжно сама предложить свою неопределённость. Вы можете надёжно о ней попросить.\u003C\u002Fp>\n\u003Ch2>Связанные материалы\u003C\u002Fh2>\n\u003Cul>\n\u003Cli>\u003Ca href=\"\u002Fru\u002Fblog\u002Fai-psychological-safety\u002Fhow-you-ask-changes-what-you-get\">То, как вы спрашиваете, меняет то, что вы получаете\u003C\u002Fa>\u003C\u002Fli>\n\u003C\u002Ful>\n",null,1793842132646]