Коли дві моделі ШІ дають вам різні відповіді, перший порив — з’ясувати, яка з них правильна. Вибрати «ліпшу» модель або попросити третю розсудити. Ставитися до розходження як до шуму, який потрібно приглушити на шляху до «правильної» відповіді.
Цей порив варто поставити під сумнів. Це пастка, яка веде нас із ШІ у хибному напрямі.
Чого Solo-AI ніколи не зможе вам показати
Перш ніж говорити про те, що робити з розходженням моделей, варто назвати те, що випадає з більшості розмов про надійність ШІ: з одною моделлю ви не знаєте, чого ви не знаєте.
Відповідь Solo-AI надходить упевненою й завершеною. Чого ви не бачите — це того, чи відповіла б інша модель інакше: чи є міркування, яке вона проганила, припущення, яке вона зробила і яке не витримує, частина задачі, де відповідь справді спірна, прогалина в її тренувальних даних або зміщення в її архітектурі. Ця невизначеність існує незалежно від того, чи можете ви її спостерігати. Solo-AI просто тримає її невидимою — так він задуманий.
І в цій будові є бік попиту. Споживачі просять у ШІ правильних відповідей, а не каліброваних, і саме упевненість цей запит винагороджує: тон авторитетності та детермінованої впевненості, жодного з яких архітектура гарантувати не може. Задовольнити цей попит дешевше, ніж розтлумачити його, тому налаштовують не те, наскільки відповідь надійна, а те, наскільки надійною вона відчувається.
Обмеження не в тому, що Solo-AI помиляється. А в тому, що він не дає вам способу встановити, де саме він може помилятися. А обмежена видимість у ситуаціях з високими ставками прямо перетворюється на ризик. Тому гонитва за «правильними» відповідями робить їх ризикованішими, а не безпечнішими: заспокоєння зараз, оплачене розузгодженням потім. Сказане так прямо, це не той обмін, на який би хтось пристав.
Про що насправді говорить незгода
Коли дві моделі міркують над одним і тим самим питанням і дійдуть різних відповідей, відбувається щось справжнє. Розходження — це позначка, що вказує на частину задачі, де відповідь не вирішена.
Це може означати, що питання було двозначним і кожна модель зняла двозначність по-своєму. Може означати, що моделі спиралися на різні частини свого навчання й винесли на світло справді різні свідчення або погляди. Може означати, що одна модель зробила припущення, якого інша не робила, і це припущення важливе.
У кожному з цих випадків розходження каже вам щось корисне. Не «одна з цих відповідей хибна» — можливо, так і є, і це не найцікавіше. Цікавіше інше: чому ці моделі міркують по-різному і що ця різниця відкриває в самій задачі?
Як читати розходження
Не всяке розходження між моделями однаково корисне. Частина вмілого застосування Структурованого спільного інтелекту (SCI) — виробити судження про те, що розходження значить.
Частина розходжень поверхові. Моделі можуть давати різні формулювання або наводити різні приклади, сходячись при цьому в одній і тій самій суті. На таке розходження не варто витрачати час — це стилістична різниця.
Інші розходження суттєві. Коли моделі розходяться у фактичному твердженні, у тому, яку вагу надати міркуванню, у тому, чи суттєвий ризик, або в тому, у чому власне полягає головне питання, — отаке розходження заслуговує уваги. Воно значить, що ви дивитеся на частину задачі, де відповідь залежить від судження, якого моделі не можуть надати в ізолюваних розмовах із Solo-AI.
Саме в цій частині задачі мусить увійти ваше судження.
Що з цим робити
Мета — не усунути розходження. Мета — скористатися ним, щоб знизити ризик.
Коли моделі розходяться в чомусь суттєвому, назовіть розходження прямо. Що каже кожна модель? Які припущення або свідчення вели б до кожної з відповідей? Яка відповідь краще тримається за конкретних умов вашого справжнього становища?
Іноді ви виявите, що одна модель явно має рацію, а інша помилилася або виходила з хибного припущення. Це корисно: ви піймали помилку, перш ніж вона стала рішенням.
Іноді ви виявите, що обидві моделі мають рацію в різних контекстах, а розходження насправді освітлює справжню двозначність у вашому питанні. Це також корисно: значить, вам треба ясніше сказати, про що ви запитуєте, щоб отримати надійну відповідь.
А іноді розходження винесе на світло міркування, про яке ви не думали. Це найцінніший результат: те, що з’являється лише тоді, коли незалежні міркування стикаються з одною і тією самою задачею з різних боків.
Саме тому в SCI розходження моделей — не проблема, яку треба розв’язати якнайшвидше. Це сигнал, який треба читати уважно, — і сигнал, який ви можете отримати лише тоді, коли в кімнаті не один розум.
Коментарі 0