Поставте людині питання, відповіді на яке вона не знає, і, якщо вона чесна, вона вам про це скаже. Вона може сказати «я не впевнений», «мені потрібно це перевірити» або «я знаю про це надто мало, щоб судити». Невизначеність висловлена. Ви знаєте, якої ваги надати відповіді.
Поставте те саме питання ШІ, і ви, як правило, отримаєте відповідь. Вона буде плавною, структурованою та впевненою за тоном. Вона може бути точною. Вона може бути точною частково. Вона може бути цілком хибною. Сама відповідь зазвичай дає вам дуже мало ознак того, який із трьох випадків перед вами.
Це не вада характеру і не випадковий збій. Це засвоєна поведінка.
Як навчають моделі ШІ
Мовні моделі вчаться, породжуючи текст і отримуючи оцінку того, наскільки цей текст корисний і добре прийнятий. Процес навчання — у загальних рисах його описують як навчання з підкріпленням на основі зворотного зв’язку від людини (RLHF) — полягає в тому, що люди-оцінювачі судять виходи моделі, а модель вчиться видавати відповіді, які отримують високі оцінки.
Відповіді, які прямо відповідають на питання, зазвичай отримують вищі оцінки, ніж відповіді, які містять застереження, висловлюють невизначеність або уникають теми. «Я не впевнений, але ось що я знаю» — менш задовільна відповідь, ніж ясна та впевнена. За мільйони оцінок моделі навчаються видавати впевнені відповіді.
До цього додайте, що постачальники ШІ створюють продукти. Продукт, який часто каже «я не знаю», комерційно вартий менше, ніж продукт, який видає відповіді. Стимули навколо навчання моделі — і сам процес навчання, і подальші рішення про її впровадження — загалом підштовхують до впевненості в подачі, а не до висловленої невизначеності.
У підсумку виходить модель, яка має справжню внутрішню невизначеність щодо багато чого і сильно засвоєну схильність цю невизначеність не висловлювати. Невизначеність не зникає; вона просто не проявляється у відповіді, яку ви отримуєте.
Є грубіший спосіб це сказати. Ми навчаємо ці моделі так, як керівник витягує відповідь із заляканого працівника: одна спроба, видай щось і говори впевнено, інакше ти звільнений. Ніхто, поставлений перед таким питанням, не каже «я не знаю». Картина жорстка, і вона близька до того, що сигнал підкріплення під час навчання ШІ насправді відбирає.
Це також одне з істотних джерел того, що ми в загальних рисах назвали галюцинаціями — назва, яка покладає вину на модель замість того, щоб запитати, які умови породили цю відповідь. Модель, яка засвоїла, що вона зобов’язана завжди видавати впевнену відповідь, видасть її і тоді, коли їй немає на що опертися. Ось чим багато так званих галюцинацій насправді і є: передбачуваним результатом умов, які задали ми, а не збоєм у машині.
Як це виглядає на практиці
Ви запитуєте про щось на краю навчання моделі. Вона відповідає з видимою авторитетністю. Відповідь виглядає правдоподібно і внутрішньо узгоджена. У вас немає жодної очевидної ознаки, що це випадок, у якому модель, по суті, вгадує.
Це небезпечніше за явні помилки. Коли ШІ видає щось явно хибне — фактичну помилку, яку ви розпізнаєте одразу, неправдоподібне твердження, — ви це зловите. Проблема впевненості без невизначеності виникає саме там, де зловити її нелегко: малознані факти, вузькоспеціальні галузі, недавні події, крайові випадки, де модель бачила рівно стільки, щоб скласти відповідь, яка звучить правдоподібно, не маючи надійної опори.
Схожа динаміка проявляється в тому, як ШІ відповідає на навідні питання. Так само, як навідні питання збивають людей, вони формують і відповідь ШІ. Якщо ви формулюєте питання так, що воно припускає певну відповідь — «чому X — найкращий підхід?» — питання не запитує модель, чи справді X найкращий підхід; воно просить модель породити обґрунтування на підтримку X. Модель підкоряється не тому, що впевнена, що X — найкращий підхід, а тому, що формулювання припускало цю відповідь, і видати підтримуюче обґрунтування — означає відгукнутися на формулювання краще, ніж заперечити йому.
Це і є механізм, що стоїть за матеріалом те, як ви запитуєте, змінює те, що ви отримуєте, який варто прочитати разом із цим.
Калібрування: що з цим робити
Ніщо з цього не означає, що виходи ШІ марні. Це означає, що вони не калібровані — висловлений рівень упевненості не відповідає послідовно справжньому рівню точності. Людина-експерт, яка каже «я думаю» і «я впевнений», дає вам корисну ознаку того, якої ваги надати кожному твердженню. ШІ, який постійно звучить упевнено, цієї ознаки вам не дає.
На практиці вам потрібно самостійно калібрувати свою довіру до відповідей.
Запитуйте прямо: Наскільки ви в цьому впевнені? Що мені варто було б перевірити незалежно? Багато моделей, коли їх прямо просять висловити невизначеність, це роблять. Невизначеність, висловлена на прямий запит, надійніша за впевненість, вбудовану у відповідь за замовчуванням.
Надавайте відповідям різної ваги залежно від галузі. У добре висвітлених, усталених галузях — там, де все широко задокументовано і не змінюється швидко, — точність ШІ зазвичай висока. У вузькоспеціальних, нішевих або швидко змінних галузях за замовчуванням вважайте вихід ШІ першим чернетковим варіантом, який потребує перевірки.
Ставтеся до плавності мовлення як до нейтрального свідчення. Відповідь, яка добре сформульована і добре організована, говорить вам, що модель добре вміє породжувати добре сформульований і добре організований текст. Вона не говорить вам, що зміст точний. Розвести ці два сигнали — наскільки добре написано і наскільки точно — потребує свідомого зусилля, і це зусилля того варте.
Глибша динаміка
Є варіант цього, який стосується не лише ШІ. Будь-яка система — людська чи машинна, — яку винагороджують насамперед за видачу відповідей, висловлюватиме меншу невизначеність, ніж має. Організації, які карають людей за «я не знаю», отримують культуру, в якій «я не знаю» не каже ніхто. Проблема та сама; різниться лише механізм.
Це розміщує відповідальність у цілком певному місці. Умови, що породжують надмірно впевнені відповіді, — це умови, створені людьми: у тому, як ці моделі навчають, у тому, що ми винагороджуємо, у тому, як ми запитуємо. Ніщо з цього не визначено наперед, і ці стимули вибирала не модель.
Якщо вважати надмірно впевнений ШІ чимось зламаним у технології, ми й далі будуватимемо те саме і далі з цього дивуватимемося. Якщо вважати його відображенням умов, які задали ми, він стає тим, що ми можемо змінити. Більша частина тертя, на яке скаржаться люди, створена нами самими, і те саме слушно для складніших задач узгодження, які чекають за ним.
Психологічна безпека ШІ частково полягає в тому, щоб створювати умови, в яких висловлена ШІ невизначеність є бажаною, корисною та видимою. Коли ви запитуєте прямо, коли ви залишаєте місце для невизначеності, коли ви дієво намацуєте краї того, в чому модель упевнена, — ви отримуєте вихід, який показує вам її невизначеність замість того, щоб її приховувати.
Модель не може надійно сама запропонувати свою невизначеність. Ви можете надійно про неї попросити.

Коментарі 0